Как стать автором
Обновить
VK
Технологии, которые объединяют
Сначала показывать

Что под капотом «ответов на вопросы» Маруси?

Время прочтения 16 мин
Просмотры 1.7K
Блог компании VK Машинное обучение *Голосовые интерфейсы *

Привет, это команда ответов на вопросы Маруси.

Этот материал состоит из двух частей. Это вторая часть (первая часть). В ней мы чуть глубже копнём технический аспект того, как устроены ответы на вопросы Маруси.

В первой части мы поверхностно рассмотрели механизм, позволяющий нашему голосовому помощнику понимать вопросы и реагировать на них. Теперь поговорим о том, как мы некоторое время назад создавали систему ответов на вопросы, и с помощью каких решений достигался результат, соответствующий как требованиям пользователей, так и техническим ограничениям.

Материал может быть интересен тем, кто только начинает свой путь в NLP или разрабатывает аналогичные решения, но не обладает несколькими стойками c DGX.

Читать далее
Всего голосов 31: ↑30 и ↓1 +29
Комментарии 1

Новости

MLOps в облаке: как организовать работу над ML-экспериментами с помощью MLflow

Сложный Сложный
Время прочтения 10 мин
Просмотры 1.3K
Блог компании VK Big Data *Машинное обучение *
Туториал


В свое время DevOps заметно изменил подход к разработке программного обеспечения. Последние пару лет благодаря практикам MLOps меняются принципы и подходы к работе дата-специалистов. Александр Волынский (Technical Product Manager ML Platform VK Cloud) и Сергей Артюхин (преподаватель программы «Симулятор ML» в Karpov Courses) рассказывают, почему MLOps — «новый черный» и как безболезненно реализовать этот подход в своем проекте.
Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Комментарии 0

Гайд по созданию Big Data-проектов в облаке: технологический стек, этапы и подводные камни

Время прочтения 8 мин
Просмотры 2.5K
Блог компании VK Системное администрирование *Big Data *DevOps *Облачные сервисы *
Туториал


Любой специалист, который когда-либо работал с Big Data знает, что в подобных проектах большой не только объем данных. Также это внушительные вычислительные ресурсы, разветвленный технологический стек и мощная инфраструктура. Поэтому Big Data-проекты часто реализовывают в облаке. 

Меня зовут Алексей Бестужев, я архитектор VK Cloud, и в этой статье мы обсудим нюансы и неочевидные особенности запуска процессов при работе с большими данными в облаке. 

Материал подготовлен на основе нашего совместного вебинара с Кириллом Сливчиковым, управляющим партнером компании 7RedLines. 
Читать дальше →
Всего голосов 39: ↑38 и ↓1 +37
Комментарии 24

Что выбрать для очередного API: HTTP или gRPC

Время прочтения 6 мин
Просмотры 12K
Блог компании VK Программирование *API *


Команда VK Cloud перевела статью с подробным техническим сравнением двух типов API: HTTP и gRPC. Автор рассказывает о своем опыте работы и описывает нюансы, преимущества и недостатки каждой технологии.
Читать дальше →
Всего голосов 41: ↑35 и ↓6 +29
Комментарии 9

Как Маруся отвечает на вопросы пользователей обо всём на свете

Время прочтения 10 мин
Просмотры 3.4K
Блог компании VK Машинное обучение *Голосовые интерфейсы *

Привет, это команда ответов на вопросы Маруси. Мы все привыкли к тому, что голосовые помощники отвечают на любые вопросы. Не всегда правильно, но обычно вполне толково и с пользой. А вы когда‑нибудь задумывались, как это устроено? Сейчас расскажем на примере нашей Маруси.

Материал состоит из двух частей, это первая часть. В ней мы дадим поверхностный обзор того как устроена Маруся, локализуем место навыка «ответов на вопросы» и расскажем на концептуальном уровне, как можно решать эту задачу.

Читать далее
Всего голосов 40: ↑39 и ↓1 +38
Комментарии 24

Вознаграждения в Bug Bounty VK, или Как мы работаем с деньгами

Время прочтения 5 мин
Просмотры 1.5K
Блог компании VK Информационная безопасность *
Обзор

Привет, Хабр! В прошлой статье я рассказал о том, как правильно искать уязвимости и составлять отчёты для программы Bug Bounty VK, сегодня я хочу раскрыть тему вознаграждений. Если тебе интересно узнать, почему с точки зрения владельца программы и багхантера это два абсолютно разных процесса и зачем нужна независимая платформа, то велком под кат.

Читать далее
Всего голосов 34: ↑33 и ↓1 +32
Комментарии 1

Повышаем живучесть Raft в реальных условиях

Время прочтения 14 мин
Просмотры 1.9K
Блог компании VK Блог компании Конференции Олега Бунина (Онтико) Администрирование баз данных *Tarantool *
Роадмэп
Популярность алгоритма Raft в последние годы растёт. У него достаточно ясное описание, а реализации появляются во всё большем количестве проектов. На бумаге, будь то математика или рекламные статьи, выглядит хорошо. Но на практике не все обещания Raft можно реализовать без дополнительных решений.

Меня зовут Сергей Останевич. Я архитектор репликации в проекте Tarantool, платформе in-memory-вычислений с гибкой схемой данных для эффективного создания высоконагруженных приложений. Над материалом этой статьи мы работали вместе с Бориславом Демидовым. Мы поделимся нашим опытом реализации Raft, расскажем о поддержке работоспособности кластера Tarantool в условиях частичной связности и приведём реальные примеры того, как чистый Raft не справился с задачей.


Читать дальше →
Всего голосов 39: ↑39 и ↓0 +39
Комментарии 3

Жизнь после Docker: как команда VK Cloud переходила на CRI-O

Время прочтения 7 мин
Просмотры 15K
Блог компании VK DevOps *Kubernetes *


Kubernetes прекратил поддержку Docker и отказался от dockershim — прокладки между kubelet и Docker, которая позволяет последнему работать с CRI. В итоге разработчики столкнулись с необходимостью использования новых, совместимых с CRI, движков для запуска контейнеров. Из числа общеизвестных таких два — containerd и CRI-O.

Меня зовут Александр Чадин, я руководитель команды разработки в VK Cloud. Расскажу, как мы искали замену Docker для сервиса Cloud Containers, на что ориентировались при выборе нового движка, как внедряли новое решение и с какими подводными камнями при этом столкнулись. 
Читать дальше →
Всего голосов 38: ↑38 и ↓0 +38
Комментарии 9

Чеклист для прототипов

Время прочтения 7 мин
Просмотры 4.8K
Блог компании VK Usability *Управление разработкой *

Если вы когда-нибудь занимались тестированием прототипов на респондентах, то наверняка замечали, что люди подсознательно сразу воспринимают прототип как готовый продукт и не «делают скидку» на все его условности. Опечатки, дублирование информации, шаблонный текст, тупиковые пути, долгая загрузка и прочие особенности прототипов отвлекают респондентов от реальных недостатков и могут восприниматься как ошибка интерфейса. Наверняка вы хотите не собирать отзывы об очевидных огрехах работы прототипа, а сосредоточиться на поиске возможных проблем при взаимодействии пользователей с конечным продуктом. А чтобы люди не отвлекались на косяки прототипов, нужно создавать их по некоторым правилам.

Читать
Всего голосов 32: ↑32 и ↓0 +32
Комментарии 0

Алгоритм HyperLogLog, или Оцениваем мощность множества за O(1)

Время прочтения 10 мин
Просмотры 5.4K
Блог компании VK Высокая производительность *Алгоритмы *Tarantool *


Привет, Хабр! Меня зовут Максим, я учусь на третьем курсе МФТИ. Этим летом я участвовал в студенческой программе, которую проводила команда Tarantool. Если кратко, суть программы в том, чтобы самостоятельно или в команде решить исследовательскую задачу в определенный срок. 

Моей задачей была реализация алгоритма HyperLogLog. Во время работы я не обнаружил русскоязычных материалов о практической реализации алгоритма, поэтому решил, что полученный мною опыт может быть полезен сообществу. Статья будет интересна людям, интересующимся алгоритмами и практическим программированием. Для понимания темы не потребуется ни специальных математических знаний, ни предварительного знакомства с алгоритмом. 
Читать дальше →
Всего голосов 62: ↑62 и ↓0 +62
Комментарии 40

13 распространенных задач в Kubernetes и способы их решения

Время прочтения 13 мин
Просмотры 16K
Блог компании VK DevOps *Kubernetes *


Команда VK Cloud перевела статью о проблемах в Kubernetes, с которыми часто сталкиваются инженеры-разработчики при запуске новых масштабируемых отказоустойчивых веб-сервисов. 
Читать дальше →
Всего голосов 48: ↑44 и ↓4 +40
Комментарии 3

Облачный гейминг в браузере

Время прочтения 5 мин
Просмотры 2.4K
Блог компании VK Разработка игр *Облачные сервисы *
Ретроспектива

В облако сегодня перебирается всё больше категорий приложений, в том числе игры. У VK Play Cloud уже есть свои нативные приложения под Windows, Mac, Android и Android TV, которые позволяют играть в облаке в современные требовательные игры даже на слабых компьютерах. А теперь мы добавили ещё и веб-клиент — запускать можно прямо в браузере. 

Читать далее
Всего голосов 29: ↑24 и ↓5 +19
Комментарии 0

Чтобы не терять деньги: оповещения о падениях продуктовых метрик

Время прочтения 9 мин
Просмотры 6.2K
Блог компании VK Алгоритмы *Машинное обучение *Софт
Ретроспектива

Пытаясь уследить за всем многообразием метрик и срезов на дашбордах, можно легко упустить из виду важное изменение метрик, сигнализирующее о проблеме. И если вовремя не отреагировать, то можно лишиться аудитории или выручки. Расскажем, как мы автоматизировали оповещения о падениях (или нездоровых взлётах) продуктовых метрик, чтобы сразу оценивать масштаб проблемы в деньгах, и что это дало продукту. Наш опыт будет полезен в первую очередь аналитикам и руководителям продуктов.

Читать далее
Всего голосов 48: ↑46 и ↓2 +44
Комментарии 5

ИИ, нейросети и высоконагруженные системы: чему VK и ВШЭ учат студентов

Время прочтения 8 мин
Просмотры 3.4K
Блог компании VK Машинное обучение *Учебный процесс в IT Карьера в IT-индустрии

Привет, Хабр! Меня зовут Анна Степанова, я директор по образовательным проектам в VK. Недавно мы совместно с Высшей школой экономики создали Инженерно-математическую школу (ИМШ). Цель ИМШ — дать студентам IT-специальностей возможность познакомиться с реальными исследовательскими и коммерческими задачами крупных IT-компаний и попробовать себя в их решении. 

Уже 11 лет мы сотрудничаем с лучшими вузами страны — там мы организовываем образовательные проекты и прокачиваем навыки IT-специалистов. Но в основном эти проекты представляют собой «надстройку» над той программой обучения, которая даётся в разных учебных заведениях. Поэтому выпускников, которые приходят к нам работать, нужно ещё какое-то время дообучать и адаптировать к реалиям коммерческой разработки в большой компании и к её корпоративной культуре. 

Для решения этих задач ещё на этапе обучения мы решили встроить преподавание информационных технологий на реальных практических кейсах в учебную программу, чтобы на выходе компании получали сильных молодых специалистов, которых можно сразу забрать к себе на работу. Так появилась ИМШ. 

О том, что это такое и что ждёт студентов — читайте под катом.

Читать далее
Всего голосов 37: ↑37 и ↓0 +37
Комментарии 0

BDD-фреймворк для автоматизации API без кода

Время прочтения 7 мин
Просмотры 3.9K
Блог компании VK Блог компании Конференции Олега Бунина (Онтико) Блог компании Юла Тестирование веб-сервисов *Тестирование мобильных приложений *

Меня зовут Виктор Мясников, я отвечаю за качество продукта в «Юле». Я закончил Бауманку и хотел строить ракеты, но с ними не вышло, поэтому теперь профессионально строю «велосипеды» для QA, а ещё люблю уничтожать рутину. Я расскажу, как мы проектировали BDD-фреймворк и зачем он вообще нам понадобился.

Читать далее
Всего голосов 40: ↑39 и ↓1 +38
Комментарии 4

Что выбрать: Red Team или Penetration Testing

Время прочтения 8 мин
Просмотры 5K
Блог компании VK Информационная безопасность *

За последний год информационная безопасность стала одной из наиболее горячих тем для обсуждения, выйдя далеко за пределы ИТ-сообщества. Это не удивительно — количество инцидентов ИБ в 2022 году выросло во много раз, заставив многих руководителей всерьёз задуматься о кибербезопасности своих компаний.

Помимо поиска новых технических решений много вопросов возникает по поводу анализа защищённости. И тут начинается самое интересное: с чего начать, что выбрать и в чём разница между тем или иным типом услуг? Самые жаркие споры идут вокруг Red Team и Penetration Testing и стоит ли компании создавать внутренние команды offensive-специалистов.

Меня зовут Александра Антипина, я работаю экспертом в отделе Red Team VK. Кратко расскажу о различиях в анализах защищённости и в каких случаях компании необходимы услуги Red Team. 

Читать далее
Всего голосов 43: ↑43 и ↓0 +43
Комментарии 3

10 лайфхаков, как запустить собственное мини-приложение ВКонтакте: от автора сервисов «Футбол», «Хоккей» и «Баскетбол»

Время прочтения 6 мин
Просмотры 2.2K
Блог компании VK Разработка под e-commerce *Управление разработкой *

Привет! Меня зовут Андрей Комаров, я основатель проекта «Матчи». Это название вряд ли вам о чём-то говорит — зато вы наверняка слышали о сервисах «Футбол», «Хоккей» и «Баскетбол», которые работают ВКонтакте и в Одноклассниках. Там можно следить за расписанием соревнований, получать уведомления о забитых голах и общаться с болельщиками любимых клубов.

Я в одиночку развиваю шесть сервисов — в свободное от основной работы время. Расскажу, с помощью каких хитростей это мне удаётся.

Читать далее
Всего голосов 47: ↑44 и ↓3 +41
Комментарии 4

Как развернуть Apache Superset в облаке: Docker, ВМ, Kubernetes

Время прочтения 9 мин
Просмотры 3.9K
Блог компании VK Big Data *Машинное обучение *


В последнее время многие российские компании столкнулись с задачей по выстраиванию системы бизнес-аналитики на новом технологическом стеке. В качестве замены Tableau, Power BI и Qlik одни рассматривают BI-решения российских вендоров — с лицензионной поддержкой, постоянными обновлениями версий и возможностью влиять на roadmap. Другие — Open-Source-инструменты: они бесплатны, однако их придётся развертывать, настраивать и администрировать своими силами. Один из таких инструментов — Apache Superset.  

Мы расскажем о способах развёртывания Apache Superset на разных платформах (Docker, ВМ, Kubernetes), а также дадим подробные инструкции на примере облака VK Cloud.
Читать дальше →
Всего голосов 39: ↑38 и ↓1 +37
Комментарии 2

Честные модули внутри PHP: теперь они существуют

Время прочтения 15 мин
Просмотры 6.1K
Блог компании VK Блог компании Конференции Олега Бунина (Онтико) Open source *PHP *Совершенный код *

Низкий порог входа и строгость языка программирования — вещи обычно несовместимые. Потому что ты либо, как Rust, бьёшь по рукам borrow checker’ом — либо, как PHP, позволяешь не задумываться о типах и быстро прототипировать. 

На самом деле, если писать код грамотно, это становится неважным и язык перестаёт иметь значение. Архитектура важнее языка, и хороший код на PHP ничем не отличается от аналогичного кода на любом другом ООП-языке. Другое дело, что возможность «любой домохозяйке» писать на PHP сопровождается и риском наворотить полное неподдерживаемое безобразие. Поэтому нам нужны тайпхинты, линтеры, статические анализаторы и подобные инструменты. 

Но в PHP есть и ещё один изъян: в нём любой класс, функция или константа — глобальны. Можно создать класс из любого места в коде, и нет способа скрыть его или сделать деталью реализации где-то в отдельной папке. Иными словами, в PHP нет того, что в других языках называется модулями.

Наша новая open-source разработка называется Modulite и внедряет в PHP модули. Это сквозная технология: мы внедряемся в IDE, в PHPStan, в KPHP, в CI, в Composer — и делаем так, будто бы модули нативно есть в языке PHP.

Читать далее
Всего голосов 61: ↑58 и ↓3 +55
Комментарии 10

Семь прогнозов: что ждет data-инжиниринг в 2023 году

Время прочтения 7 мин
Просмотры 3.6K
Блог компании VK Big Data *Машинное обучение *


Команда VK Cloud перевела статью о том, что ждет дата-инжиниринг в новом 2023 году. Предсказания на грядущий год редко претендуют на серьезность, но и у них есть своя цель. Они помогают нам отвлечься от повседневности и задуматься о том, на что стоит ставить в долгосрочной перспективе.
Читать дальше →
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 2

Информация

Сайт
vk.com
Дата регистрации
Дата основания
Численность
5 001–10 000 человек
Местоположение
Россия
Представитель
Анастасия Гутор