Как стать автором
Обновить
VK
Технологии, которые объединяют
Сначала показывать

Что делать со сбоями в подах: практическое руководство с примерами конфигураций

Блог компании VK DevOps *Kubernetes *
Перевод


Команда VK Cloud перевела статью о том, почему возникают сбои в кластерах Kubernetes и как с ними бороться.

Осознанные прерывания и непреднамеренные сбои


Поды исчезают по причинам двух категорий: если возникает неустранимая ошибка аппаратного обеспечения или системы либо если их уничтожает человек или контроллер. Первую категорию необратимых ситуаций мы называем непреднамеренными сбоями приложения. Например:

  • происходит сбой оборудования, на котором размещен узел;
  • администратор кластера по ошибке удаляет (экземпляр) виртуальную машину;
  • ВМ исчезает из-за сбоя в работе гипервизора или облачного провайдера;
  • возникает критическая ошибка ядра;
  • узел исчезает из кластера из-за сетевого раздела кластера;
  • происходит выселение пода с ноды из-за отсутствия ресурсов на ней или превышения лимитов.

Примечание: Большинство этих событий неспецифичны для Kubernetes и должны быть знакомы пользователю, за исключением проблемы с отсутствием ресурсов на ноде.
Читать дальше →
Рейтинг 0
Просмотры 346
Комментарии 0

Новости

От Web до Desktop за 2 недели: технология Electron на практике

Блог компании VK JavaScript *Разработка под MacOS *Разработка под Linux *Разработка под Windows *

Если у вас есть компьютер и вы используете его по назначению, то скорее всего вы так или иначе работали с приложениями на Electron (даже если об этом не знали).

Меня зовут Сергей Володин, я руковожу командой разработки VK WorkMail. В этой статье я расскажу, как на основе Electron мы за две недели создали PoC кроссплатформенного настольного приложения Почты, что узнали о технологии и к каким выводам пришли.

Читать далее
Всего голосов 25: ↑21 и ↓4 +17
Просмотры 4K
Комментарии 31

Как следить за кластером Kubernetes: 6 главных метрик, на которые нужно обращать внимание

Блог компании VK DevOps *Kubernetes *
Перевод


Загвоздка с Kubernetes в том, что это не единая система, как, например, Redis RabbitMQ или PostgreSQL, а комбинация нескольких компонентов Control Plane: etcd, API-сервера и других. С помощью виртуальных машин или серверов они помогают контролировать пользовательские нагрузки, и от всех поступают огромные потоки метрик, в которых очень легко запутаться. 

Команда VK Cloud перевела статью о том, на какие именно метрики стоит обращать внимание в первую очередь, чтобы грамотно мониторить рабочие нагрузки и поддерживать кластеры в исправном состоянии.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 5.5K
Комментарии 0

Everything Bagel, часть II: версионные таблицы озера данных в lakeFS и Trino

Блог компании VK Big Data *Хранилища данных *DevOps *Kubernetes *
Перевод


Команда VK Cloud уже переводила статью о том, как развернуть локальный стек данных с помощью инструмента Everything Bagel. Теперь переводим вторую часть, в которой на практике разбираем, как выполнять запросы к разветвленным данным lakeFS через механизм распределенных запросов Trino.
Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Просмотры 486
Комментарии 0

Как базы данных «ключ-значение» обеспечивают производительность и масштабируемость без границ

Блог компании VK Администрирование баз данных *Big Data *Хранение данных *
Перевод


Команда VK Cloud перевела статью о базах «ключ-значение». Вы узнаете, в чем их преимущества перед другими БД, какие базы работают по этому принципу и чем они отличаются между собой.

В чем суть баз «ключ-значение»


Суть проста — объекты в них хранятся и извлекаются с помощью ключа. Так мы прощаемся с:

  • таблицами, столбцами и вводом ant data — всем, что можно так или иначе назвать blob-объектом;
  • отношениями между объектами;
  • сложными операциями.

Что же мы получаем взамен, когда отбрасываем все это?
Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 8.5K
Комментарии 11

Архитектура для пользователей

Блог компании VK Высокая производительность *Разработка веб-сайтов *Анализ и проектирование систем *IT-инфраструктура *

Когда говорят о выборе архитектуры IT-системы, почти всегда упускают один ма-а-аленький нюанс: мы делаем продукты для пользователей, не для себя. А пользователям совершенно неважно, какая у сервиса архитектура. Никто в отзывах не ставит звёздочки за event-driven подход или классную реализацию service mesh — разве что в редких случаях, когда речь о продуктах для разработчиков. 

Техническое совершенство — современные инструменты, предельная оптимизация, чистота кода и лаконичная, но гибкая и масштабируемая архитектура — всё это нужно нам, технарям. А как это всё связано со счастьем пользователей, как его измерять и учитывать при проектировании сервиса, разберёмся под катом.  

Читать далее
Всего голосов 72: ↑68 и ↓4 +64
Просмотры 10K
Комментарии 19

Повышаем качество сервисов и делаем пользователей счастливыми: как работают в команде QA ВКонтакте

Блог компании VK Тестирование IT-систем *Тестирование веб-сервисов *Тестирование мобильных приложений *

Привет, Хабр! Сегодня годовщина создания команды QA одного из самых нагруженных проектов VK — социальной сети ВКонтакте. Для нас это стало хорошим поводом поговорить о буднях тестировщиков. 

Сегодня о главных задачах команды, ее традициях и жизни вне работы расскажут три сотрудника ВКонтакте, которые ежедневно работают над сервисами компании и постоянно улучшают их качество для пользователей.  Материал поможет лучше разобраться в том, как устроена команда внутри,  и что сделать для того чтобы преуспеть в тестировании. 

Читать далее
Всего голосов 48: ↑45 и ↓3 +42
Просмотры 3.8K
Комментарии 22

Как мы создали тренинги по Tarantool

Блог компании VK Высокая производительность *Учебный процесс в IT Tarantool *

Привет! Меня зовут Павел Лапаев, я работаю в VK, а точнее VK > B2B > Tarantool. Это платформа in-memory-вычислений, крутая и комплексная технология. Разобраться в ней с наскока не получится, так что с 2020 года мы решили вплотную заняться обучением внешних пользователей. 

Я расскажу о двух годах нашего пути: от сбора единомышленников и формирования материалов для тренингов до ввода в эксплуатацию, то есть до первого проведения обучения за деньги. Bonus points — нам стало в разы проще адаптировать новичков и мы написали несколько классных фундаментальных статей.

Этот опыт будет полезен тем, кто хочет организовать обучение комплексным техническим вещам внутри или за пределами компании.

Читать далее
Всего голосов 39: ↑39 и ↓0 +39
Просмотры 966
Комментарии 0

Предохранители для данных: как автоматические выключатели повышают Data Quality

Блог компании VK Big Data *Машинное обучение *DevOps *
Перевод


Представьте, что бизнес-метрика неожиданно резко вырастает или проседает. Как понять, реальное это изменение или проблема с качеством данных? Команда VK Cloud перевела статью о том, как в компании Intuit решают этот вопрос с помощью предохранителей для пайплайнов данных.

В чем суть предохранителя


Если возникают проблемы с данными, предохранитель разрывает «цепь» и не пускает некачественные данные в следующие процессы обработки. В результате данные,  которые приходятся на периоды низкого качества, не входят в отчеты. А значит, можно быть уверенным в их корректности. 

Такой проактивный подход сокращает Time-to-Reliable-Insights до минут. А автоматизация обеспечивает прямую зависимость данных от их качества. Это позволяет избежать разрушительных авралов, которые возникают всякий раз, когда нужно проверить и поправить метрики или отчеты. Далее мы в подробностях рассмотрим, как внедрять такие предохранители.
Читать дальше →
Всего голосов 28: ↑28 и ↓0 +28
Просмотры 1.8K
Комментарии 3

Кто такой Data Product Manager и почему без него не обойтись в 2022 году, если вы работаете с Big Data

Блог компании VK Системное администрирование *Big Data *DevOps *


В 2022 году индустрия больших данных изменилась. И нужно решать, что делать с инфраструктурными вызовами, переходить ли в облако и как продолжать развитие ИТ-решений. Со всем этим компаниям может помочь новая роль в команде — Data Product Manager.

Это статья написана по мотивам выступления на VK Cloud Conf Александра Волынского, Technical Product Manager в VK Cloud. Вы можете посмотреть его целиком в записи.

Главные проблемы и вызовы для индустрии работы с данными в 2022 году


  • Инфраструктура и инструменты. Как обеспечить работу систем, построенных на базе ПО вендоров, прекративших продажу лицензий?
  • Поддержка и развитие решений на базе зарубежного ПО. Как развивать системы и где получить компетенции для технического сопровождения решений, поддержку которых прекратили зарубежные вендоры?
  • Обеспечение безопасности решений. Обновления, новую функциональность и ключевые патчи для закрытия уязвимостей уже не получить.

Учитывая эти проблемы, многие компании решают перейти на Open-Source-инструменты и решения. Но применение этого стека технологий — тоже непростая задача: нужно выбрать решения, запланировать ресурсы, сформировать команду специалистов с нужными компетенциями или найти партнеров по внедрению ПО. И еще понадобится специалист, который все это организует: не всегда в компании может быть достаточно компетенций для реализации таких задач. 
Читать дальше →
Всего голосов 37: ↑37 и ↓0 +37
Просмотры 1.7K
Комментарии 1

Как Go выполняет встраивание

Блог компании VK Серверная оптимизация *Go *

Привет, я Никита Галушко, работаю над мессенджером ВКонтакте. Расскажу, как Go подходит к инлайнингу функций — этот процесс ещё называют встраиванием. В статье разберёмся, зачем вообще это нужно, какой профит можно получить для ускорения работы кода, а когда плюсы могут обернуться минусами. На примерах углубимся в специфику Go: как этот язык инлайнит функции, что можно и что нельзя встроить, какие возможности доступны в разных версиях. Также обсудим ограничения и способы обойти их.

Читать далее
Всего голосов 73: ↑72 и ↓1 +71
Просмотры 8.4K
Комментарии 15

C++. Унарный минус и беззнаковый тип

Блог компании VK C++ *

Привет, Хабр! Меня зовут Владимир, я работаю в VK Карты. Хочу рассказать про случай, который недавно произошёл у нас в подразделении. Он кажется достаточно типичным и может быть интересен другим программистам.

Нам, программистам на C++, не привыкать, что даже самый безобидный код может таить в себе сюрпризы. Рассмотрим пример:

uint32_t width = 7;

int32_t signed_offset = -width;

Он полон сюрпризов! Каких? Короткий ответ: значение signed_offset не определено стандартом и зависит от реализации. Но это далеко не все неожиданности в этом коде. Статья как раз о них.

Читать далее
Всего голосов 64: ↑58 и ↓6 +52
Просмотры 6K
Комментарии 24

15 самых распространенных проблем с качеством данных (и способы их решения)

Блог компании VK Big Data *Машинное обучение *Хранилища данных *DevOps *
Перевод


Команда VK Cloud перевела статью о 15 самых популярных проблемах с Data Quality и способах их смягчения или даже полного избегания.

1. Неполные данные


Эта проблема самая распространенная. При ее возникновении в ключевых столбцах не хватает информации, либо содержатся неправильно выполненные задания ETL или данные, которые негативно влияют на дальнейшую аналитику. 

Решение. Внедрить контроль фреймворка для сверки данных. Он проверяет число записей, поступающих на разные уровни аналитики, и отправляет оповещение, если на каком-то уровне записей стало меньше.
Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 5.1K
Комментарии 4

Как запустить UI-автотесты в любом Chromium-браузере

Блог компании VK Браузеры Тестирование веб-сервисов *
Tutorial

Привет, Хабр! Меня зовут Кристина Курашова, и я отвечаю за качество в VK Assistant. Написала тут небольшую инструкцию для тех, кто тоже запускает UI-автотесты в браузерах на основе Chromium (не только Chrome). Надеюсь, она сэкономит вам время. Welcome!

Читать далее
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 3.6K
Комментарии 17

Taneleer на смену Thanos – как мы поменяли подход к обнаружению скомпрометированных паролей

Блог компании VK Информационная безопасность *Tarantool *

Привет, Хабр! Мы – команда информационной безопасности Почты Mail.ru. Уже много лет мы постоянно совершенствуем текущие и внедряем новые механизмы безопасности и технологии беспарольного входа, которые направлены на защиту аккаунтов пользователей. Но пока пароль остается основным методом аутентификации для большинства пользователей и является самым ненадежным методом аутентификации, потому что природа не одарила человеческий мозг хорошим генератором псевдослучайных чисел и идеальной памятью. Согласно многочисленным исследованиям, пользователи предпочитают использовать простые, предсказуемые, не уникальные пароли.

Читать далее
Всего голосов 45: ↑44 и ↓1 +43
Просмотры 3.1K
Комментарии 0

От сбора до использования: как повысить Data Quality на всех этапах работы с данными

Блог компании VK Big Data *Машинное обучение *Хранилища данных *DevOps *
Перевод


Представьте, что у вас только что появилось классное озеро данных с прикольными пайплайнами, которые собирают данные со всей компании. А теперь представьте свой шок, когда команды бизнес-специалистов поймут, что в озере данных — не данные, а мусор. 

Команда VK Cloud перевела статью о том, как следить за данными на каждом этапе и повысить их качество для грамотного использования.
Читать дальше →
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.7K
Комментарии 0

Как мы делали суперприложение на основе Почты

Блог компании VK Разработка мобильных приложений *

Совсем скоро, 3 и 4 сентября в VK пройдёт новый Weekend Offer. В нём будет участвовать и наша команда — мы создаём суперприложение на основе почтового клиента Mail.ru. Хотим подробнее рассказать об этом проекте и о задачах, которые нужно будет решать нашим будущим коллегам :)

Год назад бизнес поставил нам задачу: интегрировать в приложение несколько других сервисов компании, чтобы пользователи могли одним нажатием переходить из сервиса в сервис. Ну, вы и сами знаете, для чего нужны суперы — для развития экосистемы и конкретных продуктов. И спустя два месяца мы запустили в эксплуатацию суперприложение на основе почтового клиента Mail.Ru.

Читать далее
Всего голосов 30: ↑22 и ↓8 +14
Просмотры 3.7K
Комментарии 10

Отказоустойчивая архитектура контентной платформы на 4 Тбит/с — опыт VK Видео

Блог компании VK Высокая производительность *Анализ и проектирование систем *IT-инфраструктура *Распределённые системы *

Представьте идеальный мир с бесконечными ресурсами, в котором можно сколько угодно линейно масштабироваться под нагрузку: просто доставлять серверы, диски, видеокарты, как только потребуется больше мощностей. Звучит хорошо? Только оказывается, что когда серверов 5 000 и дисков 100 000, то несколько из них обязательно находятся в состоянии maintenance или repair, куда их привели обстоятельства непреодолимой силы. И главная задача здесь — обеспечить доступность сервиса в условиях постоянных сбоев. 

В статье разберём, как построить отказоустойчивую платформу, с какими неочевидными corner cases может столкнуться сервис с UGC-контентом, а ещё — как жить в реальном, а не идеальном мире и оптимизировать железо. Чтобы раздавать 4 Тбит/с можно, конечно, использовать 400 серверов по 10 Гбит/с, но гораздо интереснее грамотно всё потюнить и выжать 100 Гбит/с с Java-сервера.  

Читать далее
Всего голосов 59: ↑58 и ↓1 +57
Просмотры 14K
Комментарии 16

Настоящий детектив: загадочные таймауты на проде

Блог компании VK Анализ и проектирование систем *Отладка *

Привет! Меня зовут Алексей, я работаю в команде Антиспама Почты Mail.ru, и сегодня хочу поделиться интересным опытом нашей команды по поиску проблем на бою. 

Многие из нас любят детективные истории: интрига, драйв, захватывающий сюжет, который держит в напряжении до самого конца, когда раскрывается загадка. Ровно такие же ощущения испытываешь, когда разбираешься с проблемами на проде. 

Этот пост — детектив со всеми его элементами: загадочная история с превышением времени до таймаута, круг подозреваемых (среди которых сервисы, прокси и сеть), команда разработчиков-сыщиков, собирающих и изучающих улики и ставящих следственные эксперименты, и непредсказуемая развязка.  

Читать далее
Всего голосов 71: ↑71 и ↓0 +71
Просмотры 9.2K
Комментарии 25

Встраиваем Lua в PHP через FFI

Блог компании VK Open source *PHP *Системное программирование *Lua *

Foreign Function Interface — это перспективная альтернатива для традиционных PHP-расширений.


Сегодня мы будем разбирать FFI-библиотеку для работы с liblua5 из PHP, которая позволит исполнять скрипты на Lua из нашего приложения.


Читать дальше →
Всего голосов 43: ↑42 и ↓1 +41
Просмотры 3.2K
Комментарии 11

Информация

Дата основания
Местоположение
Россия
Сайт
vk.com
Численность
5 001–10 000 человек
Дата регистрации
Представитель
Анастасия Гутор