Про ClickHouse есть много разной информации, но мало про то, как готовить инфраструктуру с ним. Мы потратили примерно полгода вялого набивания шишек, чтобы это заработало именно так, как нас наконец-то устраивает. Нужно было найти конфигурацию эффективную и в плане денег, и в плане работы базы как таковой.

На момент написания статьи хранилищем и результатами его работы пользуются 16+ команд (11+ аналитиков и 2 data scientist, 70+ разработчиков, руководители и менеджерский состав).

Ежесуточно в хранилище поступает ~1,2 ТБ данных, пользователи и автоматика для построения отчётности генерируют ~35 000 запросов в сутки на выборки различной сложности. Подробнее про наше хранилище и то, какие задачи для бизнеса им решаем, можно почитать по ссылке.

В разные эпохи развития нашего проекта в качестве основного хранилища которое было как источник данных для аналитики у нас были хранилища MySQL, ElasitcSearch, Exasol и ClickHouse. Последний нам очень нравится и вообще вызывает дикий восторг как инструмент для работы с большими массивами данных, но если посчитать итоговую стоимость владения с учётом внедрения кластера, обучения и поддержки — лучше подумайте два раза, прежде чем тащить его в ваше стек. На наших объёмах данных вложенные усилия окупаются, но если бы мы были чуть меньше, то, наверное, экономика не сошлась бы.

Главная проблема ClickHouse — это практическое отсутствие удобных и стабильно работающих инструментов для эксплуатации и большое кол-во решение рядом в погоне добиться того же пользовательского опыта как при работе с классическим RDBMS (MySQL или PostgreSQL). Вам придется приложить не мало усилий чтобы понять как эффективно применить clickhouse для ваших задач анализировать придется много: начиная от вопросов развертывания до выбора оптимальных моделей данных под профиль вашей нагрузки, в общем доступе не так много рекомендаций по выбору конфигураций под разные типы задач.

С другой стороны, его киллер-фича — это возможность работать с огромными массивами данных невероятно быстро для решений в этой области, то что раньше нам приходилось делать в Spark или через другие реализации map reduce, теперь мы можем делать внутри clickhouse. И бесплатно, потому что такими же плюсами обладают многие MPP решения вроде Vertica или Exasol. Но ClickHouse открытый, и за это мы платим налог на использование не прогнозируемым объемом поддержки или развития системы. Не всем это подходит: например, есть опыт компаний, которые сначала было влезли в это дело, потом поняли, что это не то — и взяли платные продукты с платной поддержкой с экспертизой в решении архитектурных задач именно их продуктами. В платных продуктах есть готовые инструменты, которые понятно, как применять.

Примерно за 30 тысяч рублей в час вы можете покатать ведро с водой на верёвке на вертолёте. Ведро будет брыкаться и выливаться, но ваша задача — пронести его заданным маршрутом через систему ворот и поставить в круг диаметром 22 сантиметра. Диаметр самого ведра 20 сантиметров, и вам нужно не только сделать это быстро и точно, но и сохранить воду внутри.

А на фото «балда», шестикилограммовая штуковина на верёвочке. Верёвка, кстати, не привязана к вертолёту — её держит второй пилот. Да, с той стороны нет двери. В общем, сейчас расскажу про вертолёты и вертолётный спорт.

Сначала немного истории

Способность вращающегося винта подниматься в воздух была известна в Китае ещё в средние века. Но впервые поднять человека винтокрылый летательный аппарат смог только в 1907 году, через четыре года после полёта братьев Райт.

Это стало возможно благодаря двум научно-техническим прорывам начала ХХ века:

• Создание винта с высокими аэродинамическими характеристиками
• Уменьшение массы двигателя внутреннего сгорания

Первый винтокрылый летательный аппарат ещё не был вертолётом. Это был жироплан — прообраз вертолёта, построенный во Франции братьями Луи и Жаком Бреге под руководством профессора Шарля Рише. Жироплан мог подняться на полтора метра при помощи четырёх несущих винтов и не имел органов управления. Поэтому механики поддерживали его сбоку.

В том же году, и тоже во Франции, изобретатель Поль Корню поднялся на своей версии вертолёта с двумя несущими винтами. Это был, хоть и плохо, но управляемый вертолёт. Так Корню стал первым вертолётным пилотом.

^{Остовы кораблей в бухте у острова Русский}

Владивосток основан всего 161 год назад, то есть моложе даже современной Австралии. Чуть раньше появиться он не мог: не было подходящей геополитики. Появись он чуть позже — и там был бы Китай или Япония. А так нам в какой-то момент очень понадобилась торговля с Востоком и защита региона. Выбирали главный город на Тихом океане, были варианты из Петропавловска, Хабаровска, Николаевска-на-Амуре, но именно Владивосток был выбран как военно-морская база: конфигурация островов и полуострова прекрасно подходила для выстроения эшелонированной обороны, а бухта почти не замерзала зимой.

А когда появляется военная база таких масштабов и торговля, туда надо везти много припасов и материалов, а обратно — товаров. Так появился Транссиб, который соединил в логистическую цепь полмира. Такая стройка требует серьёзных ресурсов, и параллельно регион очень хотели развивать. Произошла ещё одна волшебная вещь: объявили режим порто-франко. То есть беспошлинной торговли. В случае нового города это, фактически, означает, что город тут же сделали неким аналогом опенсорс-сообщества. Можно было с нуля пилить любой проект для города — и личный финансовый успех означал выгоду для города. Экономика была отдана в руки сообщества.

Следующая особенность связана с водопроводом. В городе не было нормальных источников воды. В результате кучи факторов воду решили доставлять не традиционной шиной, а микротранзакциями. Но дронов тогда не было, и нужна была дешёвая рабочая сила, которая, фактически, стала бы инфраструктурными системами города. Владивосток открыли для мигрантов из ближайших стран: Китая, Кореи и Японии. Так был разыгран быстрый старт для города и добавлены ресурсы для предпринимательства.

В результате мы имеем взрывной рост экономики, торговлю с половиной мира через крайне удачный транспортный узел и довольно особенный менталитет жителей. Добро пожаловать в пятничный урбанизм — и во Владивосток.

Мы сделали две вещи: отреверсили мышление пассажиров по выбору места в поезде (и самого поезда заодно) с точки зрения рационального выбора — и ещё обучили модель на фактически сделанных выборах наших пассажиров. Нужно это было для того, чтобы понять, как именно выбирают места люди, — и сразу предлагать те места, которые пассажир выбрал бы и сам, но через 3 минуты разглядывания разных вагонов.

Вот, посмотрите, вот так выглядит подсказка:



Здесь пассажиры едут вдвоём. Сначала выбирается самый свободный вагон, потом в нём не первое свободное купе (обычно в районе середины), затем в нём два места — нижние, если цена устроит, или верхние, если хочется со скидкой. Этот поезд без плацкартов, поэтому оба варианта купе.

Ну а дальше расскажу, как заполняется поезд, при каких обстоятельствах человек готов поменять нижнюю боковую на верхнюю обычную полку в плацкарте, куда и как садиться в сидячем вагоне при выборе места и так далее. Ну и заодно — зачем вообще люди ездят на поездах и что в каком случае важно. Иногда это знание полезно и будет помогать ехать в пустом купе при покупке верхней полки со скидкой, если поезд не очень населённый, — но нам было гораздо интереснее отследить именно мышление пассажира.

В общем, выглядит это вот так — большая часть полки скрыта в глубине шахматной расстановки:



Расстановка вот такая:



Возможно, вы помните опыты ТМХ по тому, как должен выглядеть новый плацкартный вагон: сначала появились концепции капсульных плацкартов со шкафом посреди купе, потом в габарите Т — куча доработок по отзывам на первый вариант, уже длинные полки и модульная компоновка, когда можно делать часть блоков капсулой, а часть как обычно. Плюс занавески на каждом месте. Тогда же стало понятно, что в капсульный модуль не затащить велосипед или лыжи, плюс вы оставили ещё под полторы тысячи комментариев. На заводе опять получили обратную связь и показали следующий прототип.

Теперь это вагон, архитектура которого вообще не привязана к модулям плацкартов. А когда вы не ограничены прямоугольной компоновкой, можно делать диагональное расположение, ставить места в обе стороны от прохода и не выравнивать их друг по другу по сетке, а заполнять пространство в стиле биоформы.

В общем, заходите под кат смотреть новый вагон эконом-сегмента. Ну и можно посмотреть, что стало с вашей обратной связью и как опять поменялась эргономика после неё.

Как вы, возможно, знаете, наши крутейшие «Сапсаны» или Siemens Velaro мы покупали у немцев. Потому что никто в стране такое произвести целиком достаточно качественно просто не мог (ну, в смысле, сопоставимо с экономикой покупки). А вот «Сапсан-3» будет делаться уже на «Уральских локомотивах». Там же сейчас делают «Ласточки» с похожей архитектурой.

Первое принципиальное отличие «Ласточек» от других поездов в применении алюминия, а не привычной стали. А это требует отдельного производства, потому что та же качественная сварка алюминия требует вообще другого уровня точности в сравнении со сталью.

Второе принципиальное отличие «Ласточек» от большинства других используемых на момент их появления в стране поездов — в том, что квантуются они не повагонно, а целиком как один объект.


^{Вот этот узел — как и ещё десятки — стоит на пассажирском вагоне, а в старой архитектуре стоял бы на локомотиве}

Сейчас я немного упрощу для понятности аналогии. Дело в том, что в архитектуре электропоездов довольно долго царил некий аналог монолитного подхода, а потом пришёл аналог микросервисов. То есть каждый вагон несёт на себе разные элементы, нужные для поезда, и включает их в общую сеть. Причём в случае «Ласточек» — эти самые сервисы ещё масштабируются горизонтально в зависимости от количества вагонов.

В общем, пойдёмте, покажу поезд, в котором локомотив распределён по всему поезду.

Физика движения локомотива такая: чем он мощнее, тем лучше он трётся о рельс и больше тянет. При этом чем больше вам нужно тянуть, тем тяжелее должен быть локомотив, чтобы не проскальзывать по рельсу. А чем тяжелее он будет, тем больше шансов повредить рельс. В итоге примерно к 2000-м годам вся эта система достигла равновесия: более-менее устаканились ТТХ отечественных локомотивов с учётом ширины колеи и допустимого износа пути.



То есть если нужно тянуть длинный товарняк, используется не более мощный и тяжёлый локомотив, а подцепляются вторая, третья или даже четвёртая секции.

В итоге производство локомотивов из растущего вертикально скачками благодаря НИИ превратилось в эволюционирующее постепенно, выигрывающее несколько процентов то тут, то там. И главные выигрыши сейчас — в экономике, то есть себестоимости и скорости серийного производства.

Давайте покажу завод «Уральские локомотивы» — но не ту часть, где прекрасные Ласточки, а ту, где самый хардкор.

Лепра пришла к человечеству сильно раньше, чем у нас появились хоть какие-то работающие механизмы диагностики или лечения. Болезнь на несколько веков разделила мир на две больших части: здоровых и изгнанников.

Инкубационный период — от 6 месяцев до 20 лет, при том что нормальным сроком «спячки болезни» считается период от трёх до семи лет, — это вам не две недели карантина.


Карта распространения лепры по миру на конец XIX века

Сейчас есть модный термин — «канселинг человека», то есть убирание из соцсетей и замарывание почти по «1984» Оруэлла. В Средневековье всё работало примерно так же, как с Твиттером: бедняга, подцепивший заразу, если он не король, как бы официально записывался в «живые мертвецы» и по церковно-правовым нормам тех времён изгонялся из общины, и вынужден был отправляться либо в специальное заведение (лепрозорий), которых, по утверждению хрониста Матвея Парижского, в начале XIII века в Европе было около 19 тысяч (число целиком на совести Матвея), либо скитаться вдали от людей с трещоткой или колокольчиком, чтобы окружающие знали о его приближении заранее. Фраза «Он прокажён!», исполненная тогда священником в отношении кого бы то ни было по делу и без, решала всё и без суда и следствия.



Естественно, мир изгнанников имел свои законы, свои традиции и особенности и свою денежную систему. Я бы хотел рассказать именно о ней, попутно коснувшись ряда связанных причин и следствий.

Этот день — яркий пример того, как несколько вещей, которые сами по себе не приводят к отказу, могут удачно совпасть. Итак, 23 апреля было совершенно обычным днём, с обычным трафиком и обычной загрузкой ресурсов. Как обычно, с запасом больше трети, чтобы при потере любого из ЦОДов пережить это без проблем. Никто не думал, что к серверному мониторингу нужно прикручивать ещё мониторинг того, что говорит президент на прямой линии, поэтому дальше случилось вот что:



Примерно в 13:30 у нас резко подскочила нагрузка на поиск по авиации и по железнодорожным билетам. Где-то в этот момент РЖД сообщила о перебоях на сайте и в приложении, а мы начали экстренно наливать дополнительные инстансы бекендов во всех ЦОДах.

Но на самом деле проблемы начались раньше. Примерно в 8 утра мониторинг прислал алерт про то, что на одной из реплик базы данных у нас что-то подозрительно много долгоживущих процессов. Но мы это прошляпили, сочли не очень важным.

Скорее всего, вы знаете про Эквадор две вещи: мужика по имени Дарвин, который именно на Галапагосских островах открыл эволюцию — и бананы. 96% бананов в России растут на фермах этой страны, проплывают полпланеты на сухогрузах, чтобы потом оказаться в магазинах дешевле яблок. Возможно, ещё вы знаете, что у нас оттуда розы и сырьё для дорогого шоколада.


^{Охранный режим предполагает минимум 2 метра до животных, поэтому котики уже думают, что они дофига страшные — и распугивают людей со скамеек. Теперь это их скамейки.}

Но давайте начнём не с этого, а с того, что француз Шарль Мари де ла Кондамин искал способы точнее определять географические координаты. Это ему принадлежит яркая идея с одновременными взрывами пороховых складов. Он же поехал в будущий Эквадор от французского научного сообщества. Смысл был в том, чтобы измерить дугу меридиана под экватором, а ожидаемый результат — доказать, что земля вовсе не шар, а что-то более сложное. Экспедиция планировалась на 2 года, а получилась на 7 лет. По ходу пьесы Кондамин установил отклонение от расчётной кривизны (чем сильно поменял модели расчёта координат тех лет), открыл каучук и хинин — и заодно придумал название стране, которая чуть позже получила независимость.

Теперь представьте себе страну размером примерно с Италию, в которой очень сложная логистика из-за «ступенек» горных поясов, по которой до сих пор ходят люди, сошедшие со страниц романа «Сердца трёх», где нет зимы, не гниёт техника, можно жить в недостроенных домах — и где всё вроде бы привычное, но настолько другое в мелочах, что есть полное ощущение другой планеты.

Ну и да, тут у нас одно из самых интересных мест в плане изучения эволюции. Галапагосы. Детская мечта. С них и начнём.

В этот блок выдачи могут попасть только сервисы группы юрлиц Яндекса

Я уже несколько постов разбираю наше обращение в ФАС по поводу интеграции поиска Яндекс с различными сервисами Яндекса. Напомню предыдущие серии: предупреждение ФАС, ФАС возбуждает дело против Яндекса. В комментариях к постам встречается огромное количество вопросов относительно того, чего, собственно, плохого в том, что делает Яндекс. Они частично задевают вообще фреймворк антимонопольных законов России и мировую практику, поэтому я сейчас постараюсь на уровне ликбеза рассказать, откуда такие принципы вообще пошли.

Итак, основные точки прошлого обсуждения:

• Почему Яндекс не может делать со своим продуктом что угодно? Это же их поиск, нет?
• Почему крупные компании пошли за помощью государства, а не прибегли к рыночным методам, если их что-то не устраивает в работе Яндекса?
• Почему бы не сделать свой конкурирующий поисковик и не устанавливать в нём свои правила?
• Чем вообще плоха монополия?
• Чем отличается доминирующий игрок от просто игроков?
• Почему государство вдруг должно устанавливать правила для интернет-рынков? Неужели нельзя порешать это саморегуляцией?

Чтобы понять смысл антимонопольного регулирования, нужно мысленно смоделировать несколько ситуаций, что бы было, если бы его не было вообще. Давайте для начала разберёмся, зачем оно вообще существует в современном мире.

Скриншот показывает, как эффективно Яндекс добавляет свои сервисы наверх выдачи

Привет! Я один из тех юристов, которые направили обращение в ФАС, в результате рассмотрения которого появилось «предупреждение о прекращении действий (бездействия), которые содержат признаки нарушения антимонопольного законодательства».

Возможно, вы уже видели волну новостей про то, что ФАС возбудила дело против Яндекса и тут же произошёл резкий скачок акций, в результате чего компания потеряла за час торгов 106 миллиардов рублей рыночной капитализации. Я почти уверен, что роль тут сыграли, скорее, громкие заголовки и спекулятивный характер рынка акций, а не детальное содержание новости и её суть. То есть это, скорее, спекулятивное падение.

Именно детальное содержание я и хочу сейчас разобрать.

Итак, в предыдущих сериях: ФАС вынесла предупреждение о том, что нужно устранить признаки нарушения антимонопольного законодательства. Это означает, что Яндекс уже не рассматривается как частная компания со своим продуктом, и поиск — это уже не их личное дело, а, как определено в предупреждении, является рынком поиска. Рынок — это ключевое слово, потому что именно созданием и регуляцией равных условий на рынках занимаются в антимонопольной службе.

Прошел месяц, и ситуация выглядит так, что Яндекс ничего устранять не стал, а вместо этого выбрал стратегию затягивания времени, 1 апреля подав ходатайство о продлении срока предупреждения на 1 месяц. Похоже, в ФАС такой ход не оценили, и возбудили административное дело, как, собственно, и указали в предупреждении.

Мы тут автоматизируем автобусы, недавно вот с нашей помощью все билеты в России стали электронными. Рынок только-только хоть как-то приходит в ИТ, и там всё ещё очень много всего делается в амбарных книгах.

Расскажу про один простой эпизод автоматизации, который уже десятки лет назад пройден в авиации и на железной дороге, но только-только начался у нас. Итак, ситуация: есть примерно сотня разных информационных систем, которые присылают нам данные про автобусные рейсы. Это набор самописных автоматизаций разных перевозчиков и конкурирующих коммерческих продуктов. Каждая система имеет свой формат записи о том, как делается возврат билета на автобус. Чаще всего — человекочитаемая запись на русском языке, написанная для операторов и кассиров, но около 20% систем вообще не присылают данные о возврате в принципе.

Часть правил пересекаются, причём может быть несколько уровней вложенности: «Все билеты невозвратные, но на этом направлении туда возвращаем по 259-ФЗ, обратно — вот по этим условиям».

Нам нужно показывать пассажиру условия возврата билета (возвратный, невозвратный, 100% возврат или нет, когда можно возвращать), использовать эти параметры для поиска, сравнения и, собственно, автоматизации возвратов.

Ну а мне нужно было понять, как несколько тысяч текстов на русском языке превратить в параметры билета, где хранить и как этим всем управлять.

C 1 января 2021 года по всей России официально действуют электронные билеты на автобусы. Сейчас расскажу, почему именно внедрение электронных билетов на федеральном уровне резко меняет правила игры в экосистеме автобусного транспорта. Мы — одна из тех немногих организаций, которые сначала проверили эти принципы в некоем аналоге бета-тестирования, а затем выступили отраслевыми экспертами для законодательной власти в части взаимодействия с рынком и пассажирами, что в итоге привело к поправкам в правила перевозки пассажиров.

Это постановление по сути похоже на кумулятивный сервис-пак к правилам перевозки. Нашей основной целью стал пункт 30, где раньше не было прямо обозначено, что электронный билет возможен. Например, в авиации есть процедура регистрации, в ходе которой ваш электронный билет меняют на физическую маршрутную квитанцию. На железной дороге есть электронная регистрация, когда данные вашего билета вносятся в список пассажиров, который будет у проводника. А в автобусах шаг регистрации в регламенте просто пропущен, и билет является при этом и маршрутной квитанцией сразу. То есть он может быть электронным, но это исключительно по желанию перевозчика и вокзала. Конечно, есть некоторые документы, где про регистрацию сказано даже в части организации автобусного сообщения, но они сложны в реализации и прямо не указывают на необходимость данной операции.

Теперь вы можете использовать электронный билет везде на автобусах, просто показывая его с телефона. Теоретически. Потому что — сейчас расскажу, как обстоят дела с исполнением на местах.

Это меняет всю схему продажи билетов, так как вторая сторона электронного билета — возможность купить его из любой точки страны. А это несколько непривычно для рынка, где исторически билеты автовокзала продаются только в кассе автовокзала, а обратный билет является скорее исключением, чем правилом.

На этой фотографии вы видите, как галапагосских черепах внезапно охватил порыв страсти. Самец обратил внимание на самку, решительно направился к ней, преодолел долгий путь длиной в 30 метров и, как пишут в английской классике, однозначно обозначил свои намерения. Предварительные ласки заключались в стыковке панцирей: у самца есть специальная выемка на пластроне, которая позволяет обеспечить восхождение. Если бы её там не было, попытки смотрелись бы глупо и бессмысленно. Но не сказать, чтобы свидание черепах смотрится возвышенно (особенно учитывая частоту их движений меньше 0,3 Герца), но всё же на фото они занимаются восстановлением популяции №6 группы «Сьерра Негро», то есть предгорий Чёрной горы острова Исабела. Это специальные правительственные черепахи, занятые очень важной программой государственного значения.

Для того, чтобы черепахи могли устраивать свои черепашьи оргии в режиме нон-стоп, организована специальная биостанция. И наш кавалер, и его jojoza — одни из 9 черепах, оставшихся в какой-то момент от островной популяции. Все 9 особей были собраны по острову, эвакуированы на биостанцию и на текущий момент произвели уже больше 300 прямых потомков, а их потомки тоже уже успели размножиться.

Почему черепах осталось 9? Потому что они отлично подходят для космических миссий. Например, мы в СССР отправляли черепах в лунные полёты, потому что они отлично обходятся без воды и еды несколько месяцев (максимум до года). Но до советских учёных этот факт обнаружили моряки, которые быстро смекнули, что это новая форма консервов для хранения в трюме. Острова так и назвали Черепашьими, и они стали продовольственной базой этих мест. В итоге только самые вёрткие и незаметные 9 черепах, способных убежать даже от капитана Джека Воробья, дожили до момента, когда их начали охранять.

Забирает ли Яндекс 20% трафика у аналогичных сервисов за счёт неравенства в поисковой выдаче? Давайте разберёмся.

Если вкратце – основная проблема, что Яндекс, пусть и будучи частной компанией, злоупотребляет своим доминирующим положением на рынке интернет-поиска и продвигает свои собственные проекты методами недоступными другим участникам рынка и в ущерб последним. При этом по антимонопольному законодательству если поиск является рынком, то так делать нельзя. Если же поиск является собственностью Яндекса — можно. То есть либо Яндекс может делать всё, что хочет, поскольку это их поиск, или же есть регулируемая область типа рынка рекламы, и в этом рынке должна соблюдаться какая-то нейтральность, соответствующая антимонопольному положению России.

Мой коллега Дмитрий разбирал эту ситуацию с юридической стороны вот в этом посте. Я покажу, что именно не так, и покажу примеры того, что мы показывали ФАС, когда они в ответ на вопрос про наличие или отсутствие рынка запросили доказательства возможных злоупотреблений.

ФАС рассмотрела проблему и нашла, что одна из главных проблем сейчас в «колдунщиках», конкретно – что с помощью них Яндекс перекрывает органическую выдачу привилегированными сервисами. Во-вторых, были замечены манипуляции в ранжировании, опять-таки в пользу собственных сервисов Яндекса (это, хотя и более существенно, но продемонстрировать сложнее).

Я один из многих юристов, который больше года назад участвовал в подготовке обращения в ФАС с вопросом, нормально ли, что Яндекс стал лучшим поиском по сервисам Яндекса. Собственно, ответ пришёл несколько недель назад в виде «предупреждения о прекращении действий (бездействия), которые содержат признаки нарушения антимонопольного законодательства».

Вопрос был в том, правильно ли то, что Яндекс даёт преференции своим сервисам в поиске. Суть вопроса сводилась к тому, можно ли считать отдельным рынком рынок поиска.

Дело вот в чём: если юридически поиск в интернете — это рынок, то на нём действует антимонопольное законодательство. И тогда, цитируя сам Яндекс (точнее, пост об иске против Google): «это обращение  —  признание одного неприятного факта. У нас с вами есть все шансы попасть в страну, где только одна компания будет решать, какими сервисами будут пользоваться люди». И если «мы всегда верили в конкуренцию и право выбора пользователя», то ФАС должна восстановить справедливость.

Если же поиск в интернете — это не отдельный рынок, то Яндекс — частная компания, которая в своём поиске может делать что хочет. Ведь это их поиск, их алгоритмы ранжирования и их ручные настройки. Частное дело частной компании.

Коротко: ФАС усмотрела признаки нарушений (пока де-юре не сами нарушения, это важно) в действиях Яндекса. И попросила, по сути, вернуть нейтральность в поиск, то есть обеспечить чуть более равные условия всем компаниям на рынке. В перспективе это может коснуться не только Яндекса, но и любого поиска в России.

Предупреждение ФАС это, по сути, предложение: «сделайте вот так, пожалуйста, или мы возбудим дело», поэтому давайте детально разберёмся, что же происходит.

В предупреждении обозначено, что рынок поиска есть, и это крайне важно для Рунета. Давайте посмотрим, почему.

Мы используем envoy как front edge proxy, который перенаправляет входящий трафик в несколько кластеров kubernetes (для новых сервисов) и в бэкенды legacy-архитектуры исторического наследия. Т.е. там сочетаются функции как обычного балансировщика и ssl termination point, так и api gateway.

До envoy у нас там был nginx, как и у многих. Классный софт, мне нравится. Вся история с envoy началась в тот момент, когда начались микросервисы в большом количестве и даже шаблоны ansible не спасали от увеличивающегося времени на управление nginx-конфигом. Долго выкатывалось, плюс админы приунывали от однообразных заявок вида «заведите мне домен для нового сервиса». Явно была нужна более лучшая™ автоматизация. В идеале, чтобы тот, кому нужно что-то завести, мог сам это сделать и желательно в том же месте, где настраивал прочие параметры своего сервиса. Вдобавок хотелось побольше прозрачности в том, что происходит внутри front proxy и на отрезке между ним и апстримами, и больше нативных возможностей для балансировки (переповторы запросов разных типов, исключение нездоровых хостов по определённым условиям, хелсчеки). И привлекла edge-технология, конечно же.

Привет! Нашим расписанием пользуется около 600 тысяч человек в день (плюс-минус, зависит от сезона), поэтому я бы просто хотел рассказать, что поменялось за прошлый год, и в очередной раз спросить, чего бы вам хотелось, что не так и чего, возможно, не хватает.

Самым большим сюрпризом года оказалось то, что нашим расписанием пользуется очень много машинистов электричек. То есть да, у них есть телеграммы, собственное расписание и так далее, но наше они используют как человекочитаемый источник. Плюс у нас, похоже, очень удобный для них аппарат расчёта волны задержки в зависимости от известных опозданий других поездов, который заранее позволяет подсказать им, что произойдёт.

И вот они попросили повысить точность расписания. С их точки зрения «повысить точность» — это указывать время отправления с точностью до полуминут. Более того, похожие запросы были и от пассажиров. Дискретность расписания на железной дороге — не минута, а полминуты, то есть время отправления может быть не 14:30, а 14:30:30 или, как принято указывать в служебных расписаниях для машинистов, 14:30,5. Отправление поезда на 30 секунд раньше является грубым нарушением, локомотивную бригаду могут лишить премии. Выстаивать лишние 30 секунд, на всякий случай — вариант, обычно это не считается нарушением. Но есть шанс превысить допустимый порог опоздания по следующим станциям и тоже «попасть» на премию. В 2020 увеличилось число аналогичных просьб от пользователей. Во-вторых, отсутствие полуминут усложняло работу наших операторов при внесении специфических изменений в расписании, а их число также увеличилось. Мы доработали бэкенд и сделали в 2021 году расписание с ними.

Вопрос очистки визуала от номеров поездов и «лишних» секунд решился тоже просто: можно просто выключить это в настройках и вернуться к классическому виду расписания.