Как стать автором
Обновить
480.46
Рейтинг
Туту.ру
Tutu.ru — сервис путешествий №1 в России.
Сначала показывать

Что сделали с новой электричкой: ЭП2ДМ, на чём вы поедете в пригородах

Блог компании Туту.ру Транспорт


В начале года из России элегантно ушли многие производители оборудования и поставщики поездов типа «Сименса». А те же «Ласточки» и «Сапсаны» — это «Сименс», если что, частично локализованный в России на «Уральских локомотивах». В общем, понадобился пригородный поезд на полностью российской компонентной базе. Взяли выпускаемый с 2016 года поезд ЭП2Д, привычную нам электричку. И слегка докрутили. Изменения во многом косметические, но очень интересные.

Сейчас мы с вами пойдём смотреть первый поезд ЭП2ДМ, где «М» — модифицированный. Прототипы уже были, они прошли испытания. Сейчас собирают первый поезд для пробной эксплуатации. Через несколько месяцев, после сертификации, можно будет запустить серию.



У поезда новая компонентная база, потому что все узлы российского производства. Новый экстерьер, обновлённый интерьер. И заодно, раз уж пришлось переделывать — куча обновлений того, что давно напрашивалось.

Начнём с кабины, именно она выглядит наиболее непривычно. Этот поезд вы узнаете сразу, как только увидите вдалеке.
Читать дальше →
Всего голосов 164: ↑155 и ↓9 +146
Просмотры 29K
Комментарии 254

Про самолёт МС-21: разбор, что это вообще

Блог компании Туту.ру Транспорт


МС-21 расшифровывается как магистральный самолёт двадцать первого века. Именно на него рассчитывает большинство российских авиакомпаний в ближайшие годы. Но главный вопрос настоящего — когда будет получена государственная сертификация, после которой возможны лётные испытания и только потом постановка на регулярные рейсы. Сертификацию ждём со дня на день. А пока рассказываем, что это за лайнер и куда он нас увезёт на крыльях из новейших композитных материалов. Ведь доля пластика у него в конструкции — 30 процентов. И это рекорд для самолётов такого класса.

МС-21 — первый в своём классе самолёт с крылом из композитных материалов, представитель нового поколения. Также в этом классе Airbus А320 и Boeing 737-800. Именно их, как предполагается, будут заменять на МС-21 российские авиакомпании. И именно их новый лайнер должен превзойти по некоторым своим параметрам. В комплексной программе развития авиатранспортной отрасли Российской Федерации до 2030 года запланировано производство корпорацией «Иркут» 270 самолётов МС-21.
Читать дальше →
Всего голосов 174: ↑162 и ↓12 +150
Просмотры 40K
Комментарии 146

Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных

Блог компании Туту.ру Администрирование баз данных *Big Data *Хранение данных *
✏️ Технотекст 2022


Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под ощутимой нагрузкой: мы в день отправляем флот самолётов средней авиакомпании, несколько поездов и кучу автобусов. Поэтому взаимодействий с продуктом много.

ETL-процесс (извлечение данных, трансформация и загрузка в хранилище) часто подразумевает сложную логику переноса данных, и изначально нет уверенности в том, что данные доставляются без потерь и ошибок. Мы используем Kafka как шину данных, промежуточные сервисы на Benthos для трансформации записей и отправки в Clickhouse. На этапе создания пайплайна нужно было убедиться в отсутствии потерь с нашей стороны и корректной логике записи в шину данных.

Проверять вручную расхождения каждый раз не хотелось, кроме того мы нуждались в сервисе, который умел бы сверять новые данные по расписанию и показывать наглядно, где и какие имеются расхождения. Поэтому мы сделали сервис сверок, о котором я и расскажу, потому что готовых решений не нашёл.
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 3.1K
Комментарии 27

Новый вагон-электростанция

Блог компании Туту.ру Энергия и элементы питания Транспорт


Возможно, вы помните, что есть три достаточно простых способа раздобыть электричество в вагоне:
  1. Получить 3000 Вольт от электровоза, если путь электрифицирован, а вагон подключён к этой самой высоковольтной магистрали.
  2. Генерировать ток подвагонным генератором, работающим от вращения колёс. Это отличный способ получения электроэнергии в любом поезде в любом месте, но он ограничен по мощности.
  3. Получить ток от собственной электростанции поезда. Раньше это обычно была электростанция на паровозе (маленькая турбина, вращаемая паром), энергия которой использовалась для мощных фар.

Современные двухэтажные вагоны стали потреблять слишком много энергии, чтобы способы 2 и 3 перестали эффективно работать. Да, они ходят по электрифицированным участкам, но иногда есть потребность пустить комфортный поезд по участку, где электрификации нет. А в России из-за больших размеров страны, таких мест хватает.

Хорошее промежуточное решение до появления полной электрификации — вагон-электростанция. Собственно, первый в России недавно произвели на ТВЗ, и сейчас мы на него посмотрим, потому что эта штука интересная, хоть и редко встречающаяся на железных дорогах по миру.
Читать дальше →
Всего голосов 89: ↑86 и ↓3 +83
Просмотры 17K
Комментарии 193

Нас взломали: часть данных билетов автобусов

Блог компании Туту.ру
Сегодня в обед украинские хакерские телеграм-каналы сообщили, что осуществлён взлом в качестве «ответки за Новую Почту». Дальше информация про взлом стала распространяться через СМИ.

Что мы узнали: вчера в 3 ночи был сформирован файл с, предположительно, дампом данных покупок автобусов, сделанных через наш сайт tutu.ru, там 2,5 миллиона строк технических неочищенных данных (в том числе с повторами). Там номера заказов, имена пассажиров и почты. Платёжных данных и данных о маршрутах в дампе нет.

Похоже, это действительно часть данных наших заказов. Там нет пунктов прибытия-отправления, дат заказа, но есть фамилия и имя плательщика (но не всех пассажиров), телефон и почта для отправки чека.

Произошло следующее: с 24 февраля мы вошли в списки целей для атак в хакерских и краудхакерских группах. Сначала нас банально дидосили, потом небанально дидосили, после чего хакерам удалось на короткий промежуток времени уронить сайт РЖД (фронты, но не АСУ Экспресс), и мы стали целью №1, потому что продолжали выписывать билеты. Положить нас тогда так и не удалось. С тех пор продолжаются и волны DDoS, и атаки на почту и другие типы направленных атак.

Основные версии утечки:

  1. Сопоставление данных пользователей с утечками крупных сервисов вроде Яндекса, Деливери, Пикабу и взломов почт. Похоже, что нет, в таблице есть технические учётные записи.
  2. Один из внешних технических контрагентов, связанных с эквайрингом.
  3. Собственные разработчики или члены инфраструктурной команды. Эту версию нельзя исключать никогда ни на каком проекте ни при каких условиях.
  4. Направленная атака на неизвестный нам баг.

Теперь детали про расследование.
Читать дальше →
Всего голосов 228: ↑220 и ↓8 +212
Просмотры 34K
Комментарии 59

Через какую хитро закрученную схему вы получаете авиабилет

Блог компании Туту.ру Управление проектами *Транспорт

Так в Сирене выглядит бронирование по маршруту Москва (Внуково) — Краснодар и обратно

Внешне продажа билетов выглядела очень просто: сначала у авиакомпаний были бумажные журналы, в которых можно было отмечать, какие места на какой рейс заняты. Кассир авиакассы говорил диспетчеру, куда хочет полететь пассажир, а тот в свою очередь звонил в авиакомпанию, где отмечали, что место продано. Пассажиру давали в руки билет. На самом деле всё чуть сложнее: например, нужно было сопоставить номер бланка билета (купон) с местом, а значит где-то достать бланки и получить диапазон номеров для конкретной авиакассы.

Учёт билетов в тетрадке всё ещё ведётся в некоторых авиакомпаниях (последний раз такое мы видели буквально в прошлом году в Латинской Америке). В СССР же он вёлся до 1972 года, когда появилась первая сеть из авиакасс в четырёх сотнях городов, соединённых с центральным компьютером. Женщину вынули, автомат поставили. Там, где компьютеров не было, диспетчер связывался с ближайшим центром, где компьютер был.

Эти прекрасные романтические времена, когда Аэрофлот фактически повлиял на изобретение советских сетевых протоколов — первая Сирена работала на аналоге UDP с 97% доставкой. Прогресс советских баз данных и прочих технологий, которые сейчас воспринимаются как антураж Фаллаута, — через несколько витков эволюции превратился в связку из нескольких систем, которые, собственно, и выписывают вам билет.

Сейчас расскажу про эту архитектуру.
Читать дальше →
Всего голосов 81: ↑80 и ↓1 +79
Просмотры 21K
Комментарии 51

Разбираем бобров: дикие инженеры-терраформеры в действии

Блог компании Туту.ру Научно-популярное Биология

Вот этих зверьков мы почти уничтожили к началу двадцатого века. А сейчас наш герой вполне спокойно грызёт знаки под Екатеринбургом.

Представьте себе здоровенного мыша массой чуть побольше косули, отлично приспособленного к воде. Добавьте здоровенные зубы, укреплённые металлом (точнее ферригидритом) и нехилые инженерные навыки в плане «как пустить под откос поезд» или «как затопить какую-нибудь деревню». Знакомьтесь, это бобр. Бобры круты тем, что терраформируют окружающий ландшафт и превращают планету вокруг в безопасную для себя.

Вот конкретный пример. На реке Чёрной как-то завелась пара бобров. Сначала они провели изыскательные работы. Берег оказался низковат для них, то есть не очень удобен для операционных баз и главного укрепления. Бобры взяли и переложили русло реки. Потом построили хатку по всем правилам фортификации. К ней сразу — плотину рядом. Удобно же поднять уровень воды так, чтобы вход стал подводный! Волк такое не поддерживает.

Потом окопали хатку рвами и повалили несколько деревьев, чтобы они образовали засеку. Сделали отводной канал-предохранитель на случай половодья, чтобы плотину не смыло. Запасли на зиму около тонны веток на дне образовавшегося пруда. И пошли дремать.

Зимой река замёрзла. Наши герои просто выплывали прямо из хатки под лёд, брали ветку со дна из своего запаса и возвращались хрумкать.



На этом терраформирование не кончилось. Конечно же, на следующий год на базе надо было построить ещё несколько типов инженерных сооружений.
Читать дальше →
Всего голосов 433: ↑428 и ↓5 +423
Просмотры 54K
Комментарии 121

«Арктическая база» без современных технологий: как живут оленеводы

Блог компании Туту.ру Читальный зал Урбанизм

Балок в середине. Видно нарты рядом, снегоход и крупный транспортный модуль.

В тундре тепло, примерно -35 по Цельсию и ветер около 15 метров в секунду. Павел Петрович подходит к карго-модулю санного поезда и берёт огромный мешок рыбы для оленей:

— Поехали стадо собирать!

Ехать мы собрались от балка на буране. Снегоход, фейри и автомобильный аккумулятор со светодиодной лампочкой — единственные более-менее технологичные вещи у него на арктической базе. Они удобные, но необязательные: вместо бурана можно запрячь пару оленей в нарты, а автомобильный аккумулятор с лампой — это вообще блажь. Это чтобы в балке было светло, пока он не разжёг огонь. Удобно зайти, что-то забрать и выйти.


Ближайший оплот цивилизации — посёлок Новорыбная

Мы оба одеты в скафандры — огромные многослойные одежды. Мои из супермембран и прочих модных слов, на ногах шерстяные носки, затем утепляющие вставки в сапоги с отражающим покрытием типа спасательного одеяла, потом трёхслойные сапоги из эва-пены с химическими грелками, шипами и снежным рукавом. Экипирован я на -45 по городским меркам, но через два часа легко отморожу ноги. У Павла Петровича всё из шкур и тепло держит куда лучше.

В общем, добро пожаловать в самую северную часть Евразии в тундру к северным посёлкам и оленеводам. Русский космос.
Читать дальше →
Всего голосов 195: ↑193 и ↓2 +191
Просмотры 23K
Комментарии 58

Как мы готовили легкомоторный полёт на 9 мая

Блог компании Туту.ру Транспорт

Фото: пилотажная группа «Барсы»

На 9 Мая мы пролетели по Ханты-Мансийскому автономному округу с портретами участников Великой Отечественной войны на Як-52, Су-29 и Ан-2. Маршрут Нижневартовск — Мегион — Лангепас — Сургут.


Навигация на борту (без последнего участка). Справа — скрин приложения Aircom, сделанный во время полёта

Собственно, я расскажу, как мы готовились и летели.
Читать дальше →
Всего голосов 36: ↑22 и ↓14 +8
Просмотры 3.4K
Комментарии 4

Чем кончилась история с нашим обращением в ФАС против Яндекса

Блог компании Туту.ру Поисковые технологии *Законодательство в IT
Сегодня «Дело о колдунщиках» закрыто в ФАС.

Напомню, краткая предыстория была про то, что группа ИТ-компаний Рунета объединилась и обратилась в ФАС с вопросом, нормально ли, что поиск даёт больше преимуществ собственным юрлицам Яндекса. Мы хотели вернуть нейтральность поиска, чего, собственно, и удалось достичь в результате мирового соглашения.

Формальный результат — вот, политика интеграции с поиском, где партнёры Яндекса (то есть внешние компании) и Сервисы Яндекса имеют паритет. Ещё один интересный документ здесь.

Пара выдержек:
…обеспечение равного доступа всех Партнеров как в части объема предоставленной информации, так и в части визуального и функционального представления в поисковой выдаче, вне зависимости от того, являются ли они третьими лицами или Сервисами Яндекса, ко всем действующим и будущим форматам обогащения поисковой выдачи…
…осуществление ранжирования различных форм Партнерской интеграции на странице поисковой выдачи Поисковой системы на основании единых алгоритмов…
…недопустимость манипулирования результатами поисковой выдачи для преимущественного продвижения Сервисов Яндекса. При формировании результатов поиска собственные сервисы Яндекса отражаются на тех же условиях, в том же визуальном оформлении и по тем же правилам, что и сервисы третьих лиц;

Время покажет, как это будет работать на практике, но ниже я расскажу чуть больше деталей.
Читать дальше →
Всего голосов 89: ↑83 и ↓6 +77
Просмотры 33K
Комментарии 85

Это была хорошая охота: 13 лет CTO от прихода до ухода

Блог компании Туту.ру Управление разработкой *Управление проектами *


У нас в Туту в марте уходит CTO Вадим Мельников, который за 13 лет успел перевезти компанию из подвала с дошираком в мир высоких технологий. Не один, конечно, но Вадим был очень крутым CTO, и я хочу рассказать, как он поменял всё за это время.

В общем, никто не рассказывает про уходящих людей, ну, знаете, потому что они уже уходят. Но это, имхо, не совсем справедливо. Его история — это почти история позднего Рунета, потому что всё начиналось чуть ли не как хобби силами студентов МГУ. Дальше пришлось закупать свои сервера, ночью переезжать из Каравана в Стордату из-за конфликта хозяйствующих субъектов почти как в 90-х, учиться ставить процесс разработки от уровня «одна команда делает всё» до «это скрам-мастер, и он будет жить с нами», делать невероятно прогрессивный монолит с библиотеками с фасадами, переходить на архитектуру с шиной и потом ещё раз переходить на микросервисы в контейнерах, строить своё персональное облако на своём железе, с удивлением узнавать, что ИБ всё-таки нужна (иначе ляжем и быстро) и много других вещей.

Так что Вадим для меня — человек, который застал всё и при этом всё время принимал правильные решения. Ладно, почти всё время. И почти всегда правильные. Сейчас расскажу, что ему досталось на старте, как он менял компанию и почему сейчас уходит.
Читать дальше →
Всего голосов 102: ↑99 и ↓3 +96
Просмотры 26K
Комментарии 8

Controller, но не Massive: реализуем список карточек для iOS 13+ и 11+ с учетом практик чистого кода

Блог компании Туту.ру Разработка под iOS *Разработка мобильных приложений *
Туториал

Привет! Когда мне по работе понадобилось реализовать список карточек на связке UICollectionView и UICollectionViewCompositionalLayout для iOS 13+, я не нашел хорошего примера. Написал свой и хочу поделиться с сообществом. А заодно показать реализацию для iOS11+.

Примеры можно адаптировать под свои задачи, а все исходники вы найдете в Github-репозитории в конце поста. Поехали!

Читать далее
Всего голосов 14: ↑13 и ↓1 +12
Просмотры 3.3K
Комментарии 2

Обновляем контент, не проходя повторное ревью в сторах

Блог компании Туту.ру Разработка под iOS *Разработка мобильных приложений *

Всем привет, я Дима из мобильной команды Туту, мы делаем приложения с 20М инсталлов. Расскажу, как можно быстро добавлять в приложение новый контент и обновлять его, не проходя повторные ревью в сторах. Это нужно, например, когда мы хотим быстро донести до людей коронавирусные ограничения.

Ниже реализация на SwiftUI и Kotlin (но вы можете использовать UIkit и серверный язык, принятый в вашей команде), а в GitHub-репозитории в конце статьи вы найдёте код сервера и приложений для детального изучения.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 3.8K
Комментарии 4

4,5 года из жизни iOS-команды в пяти историях и одном техрадаре

Блог компании Туту.ру Разработка под iOS *Разработка мобильных приложений *Управление разработкой *

Как мы шли к одной архитектуре, чтобы прийти к нескольким. Как режем большое приложение, чтобы у каждой фича-команды была комфортная зона ответственности. И что и у кого мы подсмотрели, чтобы писать хорошие тесты. Часть решений может шокировать. Поехали!

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 4K
Комментарии 5

Про Ту-144 — легендарный советский самолёт

Блог компании Туту.ру Транспорт


У Андрея Николаевича Туполева была мечта: построить сверхзвуковой пассажирский лайнер. Первый полёт этот самолёт совершил 31 декабря 1968 года — и это был первый в мире пассажирский сверхзвук.

Чтобы создать такой самолёт, пришлось решить очень много задач. Иллюминаторы вдавливало внутрь, а без них пассажиры очень боялись лететь. Попробовали камеры и экраны, не помогло, пришлось делать специальные панели. Металл стекал с крыльев из-за нагрева на высоких скоростях. После преодоления звуковой скорости менялась аэродинамика, и прямо в полёте надо было менять центр тяжести самолёта. Для взлёта и посадки были разработаны первые автопилоты. В самолёте с системой управления второго поколения были реализованы элементы, характерные для более позднего третьего поколения управления.

В итоге наш Ту-144 и «Конкорд» (первый полёт в 1969 году) стали единственными пассажирскими сверхзвуковыми лайнерами, а потом вышли из эксплуатации. На текущий момент пассажирского сверхзвука нет.

Давайте подробнее посмотрим на легендарный борт СССР-77107, стоящий во дворе Казанского авиационного института. У него более чем интересная история.
Читать дальше →
Всего голосов 114: ↑106 и ↓8 +98
Просмотры 52K
Комментарии 132

Эскимо из зяблика → разбираем птицу

Блог компании Туту.ру Биотехнологии


Знакомьтесь, это зяблик получает паспорт. Прямо сейчас птиц засунут в конус для взвешивания, ему там темно и спокойно. Для паспорта это не очень важно, но мы уже знаем, что наш зяблик вообще-то довольно тупой. Ладно, либо глупый, либо невнимательный, либо очень целеустремлённый. Потому что он залетел в створ ловушки из рыболовных сетей, а затем без сомнений пролетел её до конца, до сужения и накопителя. До конца этот квест выполняет примерно треть птиц, подлетающих к ловушке. А дальше, в накопителе, его и выхватил из воздуха одним движением опытный орнитолог.

Узнав длину крыла и массу зяблика, а заодно раздув ему пух на животе для проверки количества жира (он просвечивает через кожу), можно установить запас его хода. У нашего почти 2 грамма. Это не очень много, но каждый килограмм жира даёт около 8 тысяч килокалорий, то есть у нашего героя массой 21,4 грамма есть топлива на примерно 450 километров. Это для птицы критично, потому что лететь далеко, и дальше это прямо повлияет на принятие зябликом решения о продолжении миграции.



Так. В общем, добро пожаловать на старейшую в мире орнитологическую станцию в Калининградской области. Пошли смотреть газоанализатор для внутреннего мира воробьиных и человека с уткой на голове. И вот эти огромные ловушки с фотографии выше.
Читать дальше →
Всего голосов 178: ↑176 и ↓2 +174
Просмотры 17K
Комментарии 60

Плацкарт «ёлочка» — индивидуальные капсулы и нормальные столы, результат эволюции предыдущих прототипов

Блог компании Туту.ру Usability *Транспорт
У нас тут новый плацкарт, который имеет все шансы стать основной версией для ночных экспрессов. На нём я хочу показать, как ваши отзывы помогали менять вагон. Поскольку эта история прототипов уже длинная, отлично видно и тупиковые ветки, от которых отказались, и удачные решения. Начнём с того, что есть сейчас:



ТМХ показали четвёртый, близкий к финалу плацкартный вагон в диагональной компоновке. Напомню, сначала у нас был капсульный отель со шкафом вместо стола, потом целый вагон боковушек, а теперь есть тот вариант, который больше всего похож на китайский диагональный плацкарт, только с учётом всего того, что до этого говорили эксперты и пассажиры. Например, посты на Хабре собрали 548, 518 и 888 комментариев, куча обратной связи была с выставок, других публикаций и от тех, кто зашёл на макеты (они были на Ярославском, Павелецком вокзалах и на ВДНХ).



Значит, главное: будут и «капсулы», и привычные плацкарты со столом, в вашей тумбочке всё так же останутся ноги соседа. Багаж теперь не будет торчать в проход, а станет надёжно лежать между полкой и окном, плюс наверх можно будет лазить с бутылками. Естественно, новый свет, розетки везде и компромисс с багажными полками в проходе вместо третьих.

Напомню, традиционный плацкарт хорош, но если стоит задача удлинить полки и решить ещё кучу вещей, накопившихся за последние лет так 50, то нужна перекомпоновка. Именно её мы сейчас видим.
Читать дальше →
Всего голосов 201: ↑199 и ↓2 +197
Просмотры 57K
Комментарии 510

Зачем нужны правильные зоопарки и как может выглядеть зоопарк здорового человека

Блог компании Туту.ру Экология Урбанизм
Обыватель воспринимает зоопарк как место для прогулки с детьми и СИЗО для животных. На глаз, в более чем половине случаев так и есть. Но есть и нормальные зоопарки, которые вообще-то для другого.



У зоопарка здорового человека основная функция — сохранение биоразнообразия. Идея в создании распределённого по всей планете банка животных. Когда кто-то в дикой природе оказывается под угрозой, можно вытащить вид за счёт потомков зоопарковой популяции. Для этого есть программы генетического учёта животных и кросс-зоопаркового скрещивания. Примеры восстановления популяций уже были (например, зоопарки всего мира объединились, чтобы вернуть лошадь Пржевальского).

Если бы функция была только одна, то зоопарковские коллекции составлялись бы исключительно из краснокнижных зверей и хранились бы далеко не на огромной территории в центре города. Но вторая функция — это экопросвет. Зоопарк в идеале должен быть точкой трансляции мыслей про биологию и экологию.

Ещё две функции — научная (изучение животных в контролируемых условиях) и развлекательная (для приматов). Каждая из задач отдельно решается эффективнее другими способами, но именно их сочетание плюс исторические предпосылки рождают некий усреднённый оптимум — зоопарк. Так что давайте поговорим про зоопарк здорового человека. Для примера возьмём зоопарк Калининграда, поскольку он очень открыт в плане информации. Что такое «открыт» сейчас тоже расскажу.
Читать дальше →
Всего голосов 103: ↑101 и ↓2 +99
Просмотры 20K
Комментарии 81

Репликация ClickHouse без костылей: ожидание и реальность

Блог компании Туту.ру Системное администрирование *Администрирование баз данных *Хранилища данных *DevOps *


Про ClickHouse есть много разной информации, но мало про то, как готовить инфраструктуру с ним. Мы потратили примерно полгода вялого набивания шишек, чтобы это заработало именно так, как нас наконец-то устраивает. Нужно было найти конфигурацию эффективную и в плане денег, и в плане работы базы как таковой.

На момент написания статьи хранилищем и результатами его работы пользуются 16+ команд (11+ аналитиков и 2 data scientist, 70+ разработчиков, руководители и менеджерский состав).

Ежесуточно в хранилище поступает ~1,2 ТБ данных, пользователи и автоматика для построения отчётности генерируют ~35 000 запросов в сутки на выборки различной сложности. Подробнее про наше хранилище и то, какие задачи для бизнеса им решаем, можно почитать по ссылке.
Читать дальше →
Всего голосов 35: ↑34 и ↓1 +33
Просмотры 12K
Комментарии 13

ClickHouse: Путь джедая, искавшего дом для своих данных

Блог компании Туту.ру Big Data *Хранение данных *

В разные эпохи развития нашего проекта в качестве основного хранилища которое было как источник данных для аналитики у нас были хранилища MySQL, ElasitcSearch, Exasol и ClickHouse. Последний нам очень нравится и вообще вызывает дикий восторг как инструмент для работы с большими массивами данных, но если посчитать итоговую стоимость владения с учётом внедрения кластера, обучения и поддержки — лучше подумайте два раза, прежде чем тащить его в ваше стек. На наших объёмах данных вложенные усилия окупаются, но если бы мы были чуть меньше, то, наверное, экономика не сошлась бы.

Главная проблема ClickHouse — это практическое отсутствие удобных и стабильно работающих инструментов для эксплуатации и большое кол-во решение рядом в погоне добиться того же пользовательского опыта как при работе с классическим RDBMS (MySQL или PostgreSQL). Вам придется приложить не мало усилий чтобы понять как эффективно применить clickhouse для ваших задач анализировать придется много: начиная от вопросов развертывания до выбора оптимальных моделей данных под профиль вашей нагрузки, в общем доступе не так много рекомендаций по выбору конфигураций под разные типы задач.

С другой стороны, его киллер-фича — это возможность работать с огромными массивами данных невероятно быстро для решений в этой области, то что раньше нам приходилось делать в Spark или через другие реализации map reduce, теперь мы можем делать внутри clickhouse. И бесплатно, потому что такими же плюсами обладают многие MPP решения вроде Vertica или Exasol. Но ClickHouse открытый, и за это мы платим налог на использование не прогнозируемым объемом поддержки или развития системы. Не всем это подходит: например, есть опыт компаний, которые сначала было влезли в это дело, потом поняли, что это не то — и взяли платные продукты с платной поддержкой с экспертизой в решении архитектурных задач именно их продуктами. В платных продуктах есть готовые инструменты, которые понятно, как применять.

Читать далее
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 12K
Комментарии 8

Информация

Сайт
www.tutu.ru
Дата регистрации
Дата основания
Численность
201–500 человек