Яндекс

orlovdl вчера в 14:21

Как научиться разработке на Python: новый видеокурс Яндекса

• Блог компании Яндекс,
• Python,
• Программирование,
• Анализ и проектирование систем,
• Промышленное программирование

• Tutorial

Осенью прошлого года в московском офисе Яндекса прошла первая Школа бэкенд-разработки. Мы сняли занятия на видео и сегодня рады поделиться на Хабре полным видеокурсом Школы. Он позволит вам научиться промышленной разработке на Python. Авторы лекций — опытные разработчики в Яндексе. К каждому видео приложены ссылки на примеры и полезные материалы.

Для изучения курса нужно знать основы Python и понимать, как приложения развёртываются на серверах. Мы ждём, что вы умеете делать запросы к базам данных и знаете, как создаются веб‑приложения, — хотя бы на начальном уровне.

Читать дальше →

ashagraev 23 апреля 2020 в 11:00

Какие алгоритмы разработчики Яндекса реализовывают каждый день

• Блог компании Яндекс,
• Разработка веб-сайтов,
• Программирование,
• Алгоритмы,
• Промышленное программирование

BarakAdama 22 апреля 2020 в 11:00

Как мы эвакуировали дежурную смену Яндекса

• Блог компании Яндекс,
• Системное администрирование,
• IT-инфраструктура,
• Компьютерное железо,
• Инженерные системы

Когда работа умещается в одном ноутбуке и может выполняться автономно от других людей, то нет проблем перебраться на удалёнку — достаточно остаться утром дома. Но так повезло не всем.

Дежурная смена — это команда специалистов по доступности сервисов (SRE). Она включает в себя дежурных администраторов, разработчиков, менеджеров, а также общую «приборную панель» из 26 ЖК-панелей по 55 дюймов каждая. От работы дежурной смены зависит стабильность сервисов компании и скорость решения проблем.

Сегодня Дмитрий Меликов tal10n, руководитель дежурной смены, расскажет о том, как за считанные дни им удалось перевезти оборудование на дом и наладить новые процессы работы. Передаю ему слово.

Читать дальше →

megalloid 21 апреля 2020 в 10:36

Как создать безэховый экранированный бокс своими руками

• Блог компании Яндекс,
• Производство и разработка электроники,
• Компьютерное железо,
• DIY или Сделай сам

Проведение испытаний и оценка качества работы радиоустройств — то ещё веселье. Для таких лабораторных исследований порой требуется специфическое оснащение, которое стоит больших денег. В том числе — безэховые экранированные боксы.

Меня зовут Андрей, я работаю в команде разработки аппаратных решений Яндекса. Сегодня я поделюсь личным опытом и расскажу, как собрать экранированный бокс в несколько раз дешевле аналогов.

Многие современные высокотехнологичные устройства уже давно оснащаются средствами беспроводной связи. Чтобы обеспечить нормальное функционирование радиочасти таких устройств, нужно детально исследовать все радиопараметры и провести качественно-количественную оценку характеристик. Особенно в ситуации, когда радио является основным связующим звеном устройства с внешним миром.

В профильных комьюнити ходит выражение, которое показывает, что точность измерения любых качественных или количественных характеристик зависит от огромного количества условий: в любых испытаниях, связанных с ВЧ и радио, всё зависит от всего. Чтобы провести хоть сколько-нибудь вменяемые и репрезентативные исследования радиоустройства, важно снизить влияние внешних факторов по максимуму.

Читать дальше →

Leono 17 апреля 2020 в 17:53

Увеличение чувствительности A/Б-тестов с помощью Cuped. Доклад в Яндексе

• Блог компании Яндекс,
• Анализ и проектирование систем,
• Математика

danilchenkoandrey 16 апреля 2020 в 11:03

Как мы учились рекомендовать фильмы и почему не стоит полагаться только на оценки

• Блог компании Яндекс,
• Поисковые технологии,
• Машинное обучение,
• Искусственный интеллект

Представьте, что вы хотите провести вечер за просмотром фильма, но не знаете, какой выбрать. Пользователи Яндекса часто оказываются в такой же ситуации, поэтому наша команда разрабатывает рекомендации, которые можно встретить в Поиске и Эфире. Казалось бы, что тут сложного: берём оценки пользователей, с их помощью обучаем машину находить фильмы, которым с высокой вероятностью поставят 5 баллов, получаем готовый список фильмов. Но этот подход не работает. Почему? Вот об этом я сегодня и расскажу вам.

Читать дальше →

tuxxon 14 апреля 2020 в 10:37

Сотни тысяч маршрутов в секунду на ядро. Опыт Яндекс.Маршрутизации

• Блог компании Яндекс,
• Алгоритмы,
• Серверная оптимизация,
• Геоинформационные сервисы,
• Транспорт

Пару недель назад Даня Тарарухин рассказал на Хабре, как появился наш сервис, Яндекс.Маршрутизация, и как он помогает компаниям с логистикой. Создавая платформу, мы решили несколько интересных проблем, одной из которых и посвящён сегодняшний пост. Я хочу поговорить о самом планировании маршрутов и необходимых для этого ресурсах.

Читать дальше →

Leono 9 апреля 2020 в 10:32

BFCache, или Туда и обратно. Доклад Яндекса

• Блог компании Яндекс,
• JavaScript,
• Google Chrome,
• Интерфейсы,
• Браузеры

TolokaTeam 7 апреля 2020 в 10:20

Новые модели поиска и анализа данных. WSDM 2020 глазами команды Яндекс.Толоки

• Блог компании Яндекс,
• Исследования и прогнозы в IT,
• Конференции,
• Краудсорсинг

Международные научные конференции помогают следить за трендами в индустрии, узнавать о передовых разработках ведущих компаний, университетов и рассказывать о себе. Конечно, это относится только ко времени, когда мир не погружён в пучину пандемии.

До того, как все страны перешли на режим самоизоляции, мы командой Яндекс.Толоки успели съездить на конференцию WSDM (произносится как wisdom), чтобы провести туториал по краудсорсингу, презентовать нашу статью и пообщаться с коллегами по цеху.

Меня зовут Алексей Друца, я руководитель отдела эффективности и развития управления краудсорсинга и платформизации в Яндексе. В компании занимаюсь теоретическими и прикладными исследованиями в областях, связанных с дискретными алгоритмами, теорией аукционов, машинным обучением, анализом данных и вычислительной математикой. За время работы я опубликовал более 20 научных статей, в том числе в рамках конференций NIPS, KDD, WWW, WSDM, SIGIR и CIKM. В этом посте расскажу о своих впечатлениях после посещения WSDM, а также сделаю небольшой обзор самых интересных докладов.


Плакат конференции

Читать дальше →

Svetlyak 3 апреля 2020 в 10:37

Макросы для питониста. Доклад Яндекса

• Блог компании Яндекс,
• Ненормальное программирование,
• Python,
• Тестирование веб-сервисов,
• Изучение языков

vlivashkin 1 апреля 2020 в 12:14

Нейросетевой калькулятор для сложения и вычитания не очень больших чисел

• Блог компании Яндекс,
• Обработка изображений,
• Машинное обучение,
• Искусственный интеллект

stasmakeev 31 марта 2020 в 11:25

Как устроена контент-система Турбо-страниц: схемы, факты и немного истории

• Блог компании Яндекс,
• Высокая производительность,
• Разработка веб-сайтов,
• HTML

По данным TelecomDaily, почти 30% пользователей мобильного интернета в России ежедневно сталкиваются с проблемами при загрузке сайтов. Однако причина может быть не только в неравномерном покрытии, но и в слишком большом «весе» страницы.

Повлиять на качество соединения мы не можем, а вот помочь вебмастерам упростить наполнение сайта, сделать его легче — почему бы и нет? Так в Яндексе появилась технология Турбо-страниц: нашей контент-системе передают всё необходимое к размещению, а она преобразует эти данные в лёгкие и быстрые материалы.

Как работает эта магия? Какой путь проходят данные, прежде чем стать полноценной Турбо-страницей? Меня зовут Стас Макеев, я руковожу разработкой технологии Турбо-страниц. Сейчас попробую всё объяснить.

Читать дальше →

Dan_Te 30 марта 2020 в 14:05

Яндекс.Маршрутизация: как мы окунулись в логистику и решили поменять будущее

• Блог компании Яндекс,
• Алгоритмы,
• Геоинформационные сервисы,
• Транспорт

Этот текст возник благодаря появившейся в Яндексе забаве random coffee — система назначает встречу двум случайным сотрудникам, если они указали, что хотят участвовать в таких встречах. Мои собеседники находили рассказ о том, чем я занимаюсь, интересным, и вот у меня дошли руки предложить его более широкой аудитории.

До Хабра я выступил с гостевой лекцией на факультете компьютерных наук Вышки и Яндекса — рассказал студентам ФКН ровно то же самое, о чем сейчас расскажу вам (в конце поста есть видео). А именно — как путешествия с водителями, развозящими заказы из интернет-магазинов, убедили нашу команду делать новый сервис про логистику. Надеюсь, у меня получится передать вам мои ощущения от этой сферы: я поездил в «Газели» и «Ларгусе», послушал жалобы сотрудников на придирчивую «тетку из Ногинска» и стал свидетелем того, как заказ из трех самокатов для трех детей превратился в драму. А в конце поговорим про технологии.

Читать дальше →

askamalov 26 марта 2020 в 10:55

Как мы ускорили кодирование видео в восемь раз

• Блог компании Яндекс,
• Разработка веб-сайтов,
• Работа с видео,
• Облачные сервисы

Каждый день миллионы зрителей смотрят видео в интернете. Но чтобы видео стало доступно, его нужно не только загрузить на сервер, но и обработать. Чем быстрее это происходит — тем лучше сервису и его пользователям.

Меня зовут Аскар Камалов, год назад я присоединился к команде видеотехнологий Яндекса. Сегодня я коротко расскажу читателям Хабра о том, как с помощью распараллеливания процесса кодирования нам удалось в разы ускорить доставку видео до пользователя.

Этот пост в первую очередь будет интересен тем, кто раньше не задумывался о том, что происходит под капотом видеосервисов. В комментариях можно задавать вопросы и предлагать темы для будущих постов.

Читать дальше →

kventinel 25 марта 2020 в 12:27

Где порешать реальные задачи для кандидатов в Яндекc: тренировка на Codeforces и разбор

• Блог компании Яндекс,
• Занимательные задачки,
• Алгоритмы,
• Математика

Хабр, это снова я, Алексей Рак (фото не мое). В прошлом году, помимо основной работы, мне довелось стать одним из авторов задач для кандидатов в Яндекс. Сегодня наша команда впервые за долгое время публикует на Хабре реальные задачи для разработчиков, которые устраиваются в компанию. Эти задачи использовались до февраля 2020 года при отборе на стажировку для бэкендеров. Решения проверял компьютер. Сейчас кандидатам достаются похожие задания.

Разборы и код сознательно спрятаны в спойлеры. Если вы готовитесь к собеседованиям в большие IT-компании, попробуйте решить одну или несколько задач, прежде чем смотреть разбор. Отправить решение для проверки можно на Codeforces — ответ придёт сразу же (ссылка на Codeforces и примечание). Код представлен на Python, C++ и Java. Важно: авторский «олимпиадный» код не предназначен для продакшена, он написан исходя из того, что система будет проверять его автоматически.

Читать дальше →

tanyVnirvane 24 марта 2020 в 13:39

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

• Блог компании Яндекс,
• Разработка мобильных приложений,
• Машинное обучение,
• Искусственный интеллект,
• Natural Language Processing

Идеальных сервисов не бывает — иногда у пользователя возникают вопросы к техподдержке. Трудно сказать, что в таких случаях неприятнее — попытки сложить из шаблонных реплик бота комбинацию, способную решить проблему, или ожидание ответа специалиста, который уже полдня как вот-вот с вами свяжется.

В Яндекс.Такси из двух вариантов выбрали третий — с помощью машинного интеллекта создать техподдержку с человеческим лицом. Меня зовут Татьяна Савельева, моя группа занимается машинным обучением на неструктурированных данных. Под катом — делюсь пользовательскими инсайтами, рассказываю как автоматизировать сложный процесс, организовать работу совершенно разных команд и, конечно же, применить на практике Deep learning и технические хаки (куда без них).

Читать дальше →

Leono 23 марта 2020 в 18:17

Картинки как коробки — что внутри? Доклад в Яндексе

• Блог компании Яндекс,
• Работа с видео,
• Интерфейсы,
• Обработка изображений,
• Браузеры

Картинки и видео — это «чёрные ящики», внутри которых лежит много интересного и непонятного. Но можно заглянуть внутрь некоторых форматов, всё там поменять и посмотреть, что из этого получится.

Полина Гуртовая из компании «Злые марсиане» выступила на нашей конференции «Я  Фронтенд» в феврале. При помощи эксперимента Полина разобралась, как превращать простые картинки в «эффективные изображения» с метриками. Инструменты, которые могут делать это за нас, Полина рассмотрела ближе к концу доклада. Получился большой экскурс во внутренности и принципы работы разных форматов: от PNG и JPEG до AV1 и экзотики.

— Всем привет. Меня зовут Полина, я фронт в компании «Злые марсиане».

Читать дальше →

Leono 21 марта 2020 в 12:47

«Не будем порождать теории заговора». Разговор про ML-конференции с людьми из науки и IT-компаний

• Блог компании Яндекс,
• Машинное обучение,
• Исследования и прогнозы в IT,
• Конференции

Сейчас почти никакие публичные мероприятия не проходят, но мы надеемся, что скоро ситуация изменится (и прикладываем к этому усилия). Мы ждём, что перенесённые события пройдут в другие даты, а будущие — не отменятся, поскольку в их отмене не будет необходимости. В том числе в 2020 году должны пройти десятки больших конференций по машинному обучению.

NeurIPS (бывшая NIPS) считается самой престижной из них. Каждый год NeurIPS собирает тысячи исследователей и инженеров, которые представляют свои научные результаты в разных областях ML: глубоком обучении, обучении с подкреплением, масштабируемой оптимизации, байесовских методах и другом.



По мотивам прошедшей несколько месяцев назад в Ванкувере NeurIPS мы провели дискуссию, куда пригласили экспертов из научного мира и мира IT. Каждый из них интересуется разными вещами в машинном обучении, опыт посещения NeurIPS тоже разный. Под катом — краткая выжимка тех частей дискуссии, которые относятся к причинам посетить конференцию.

Читать дальше →

digitman 20 марта 2020 в 12:24

Как мы создавали галерею нейросетевого искусства и почему не даём копировать картины

• Блог компании Яндекс,
• Алгоритмы,
• Обработка изображений,
• Машинное обучение,
• Искусственный интеллект

Мы сегодня запустили виртуальную галерею, где все картины созданы нейронной сетью. Её особенность в том, что каждую картину в полном размере может забрать себе только один человек. Почти как в настоящей галерее.

В этом посте я расскажу о том, как родилась эта идея и как мы реализовали её с помощью двух нейросетей, одна из которых используется в поиске Яндекса.

Читать дальше →

yaheads 18 марта 2020 в 13:22

Оптимизация строк в ClickHouse. Доклад Яндекса

• Блог компании Яндекс,
• Высокая производительность,
• MySQL,
• Администрирование баз данных