Принципы организации объектных хранилищ

• Блог компании Mail.ru Group,
• IT-инфраструктура,
• Хранение данных,
• DevOps,
• Облачные сервисы

• Перевод

Storage by Phade01

Наш коллега недавно написал об архитектуре объектного S3-хранилища Mail.ru Cloud Storage. Теперь мы переводим хорошую статью об общих особенностях и ограничениях объектных хранилищ.

Читать дальше →

mary_arti сегодня в 16:57

Изобрести кошелёк и получить 250 000 рублей: конкурс от GeekBrains и Cardsmobile

• Блог компании Mail.ru Group,
• Интерфейсы,
• Дизайн мобильных приложений

Выражение «изобрести велосипед» слышал, вероятно, каждый читатель Хабра. Оно означает бессмысленную работу по созданию какой-то вещи, которая уже давно изобретена кем-то другим. Но что насчет изобретения кошелька? Многим из нас нравятся кошельки. Это не просто место для хранения денег, а любимый аксессуар для многих, который просто приятно держать в руках. Так вот, GeekBrains и Cardsmobile, компания, которая разработала приложение «Кошелёк», проводят конкурс, цель которого — перенести приятные ощущения от использования обычного оффлайнового кошелька в онлайн.

Читать дальше →

AloneCoder 29 октября 2020 в 18:42

PHP 8 — пробуем новые возможности

• Блог компании Mail.ru Group,
• Разработка веб-сайтов,
• PHP,
• Программирование,
• Laravel

• Перевод

PHP 8 уже на этапе release candidate, версия RC 3 вышла 29 октября, а полноценный релиз назначен на 26 ноября. Так что пора взглянуть на новые возможности, которые нас ждут в PHP 8. График релизов можно посмотреть здесь. А официальное руководство по обновлению на новую версию лежит тут.

Читать дальше →

Работа с памятью в Tarantool: Small — Specialized Memory ALLocators

• Блог компании Mail.ru Group,
• Высокая производительность,
• C++,
• Администрирование баз данных,
• Хранение данных

Tarantool — это персистентная NoSQL СУБД в памяти с хранимыми процедурами на Lua. В него встроен SQLite и дисковый движок (Vinyl). Также для Tarantool написано очень много расширений, поэтому многие считают его «сервером приложений». Здесь есть индексы разных типов, а в одном спейсе кроме первичного индекса может быть множество вторичных. Также в Tarantool есть один transaction thread, который выполняет все транзакции в памяти, есть сетевой thread и WAL thread.

Как же устроена работа с памятью в этой СУБД?

Читать дальше →

ndal 28 октября 2020 в 13:30

Как устроен Kubernetes as a Service на платформе Mail.ru Cloud Solutions

• Блог компании Mail.ru Group,
• Облачные вычисления,
• DevOps,
• Облачные сервисы,
• Kubernetes

Российские провайдеры давно умеют делать облачные платформы сами, а не только реселлить зарубежные. Это снижает стоимость сервисов, но их пользователям бывает интересно узнать, какая у них начинка и что обеспечивает их надёжность.

Я Дмитрий Лазаренко, директор по продуктам облачной платформы Mail.ru Cloud Solutions (MCS). Сегодня я расскажу, что под капотом у нашего Kubernetes aaS, как обеспечивается его надёжность и какие у него есть интересные функциональности, которыми любят пользоваться наши клиенты. Это автомасштабирование, интеграция с другими PaaS нашей платформы и многое другое.

Читать дальше →

mary_arti 23 октября 2020 в 15:28

Почему без тимлида не обойтись: нюансы формирования комплексной команды разработчиков и работа на удаленке

• Блог компании Mail.ru Group,
• Управление разработкой,
• Управление персоналом

От тимлида зависит многое — эффективность команды, достижение поставленных целей, профессиональный рост сотрудников. И чтобы разобраться в нюансах работы тимлида, мы поговорили с Иваном Михеевым, Deputy CTO в компании AGIMA. У Ивана многолетний опыт управления большими командами, включая отдел разработки с общей выработкой от 10 000 до 15 000 часов в месяц: PHP, Python, Mobile, Front-End, DevOps, QA.

Читать дальше →

Тестируем играючи: мастер-мастер репликация в Tarantool

• Блог компании Mail.ru Group,
• Высокая производительность,
• Администрирование баз данных,
• Lua,
• Хранение данных

Информационная безопасность как предмет: история преподавателя GeekBrains

• Блог компании Mail.ru Group,
• Информационная безопасность,
• Учебный процесс в IT

Привет, Хабр. Меня зовут Владимир Душкевич, я специалист по информационной безопасности, преподаватель факультета «Информационная безопасность». Несколько лет назад я присоединился к команде GeekBrains и хочу рассказать об этом. В конце статьи будет небольшой анонс для тех читателей, кто тоже хотел бы стать частью нашей команды. Но это потом, а сначала моя история.

Все началось в 2018 г. — тогда я впервые услышал о GeekBrains. И, решив подтянуть навыки программирования, устроился на курсы. Тогда же узнал, что компания ищет преподавателя по информационной безопасности, и меня это заинтересовало. В то время я уже преподавал в Архангельском колледже телекоммуникаций (АКТ (ф) СПбГУТ) и карьера преподавателя в офлайне меня вполне устраивала. Но было интересно узнать, как все происходит, когда преподаешь по удаленке.

Читать дальше →

Шеф, два счётчика: современные проекты аэротакси

• Блог компании Mail.ru Group,
• Транспорт,
• Будущее здесь

Наземная инфраструктура многих мегаполисов уже давно не справляется с потоком машин. Новые трассы помогают разгрузить локальные участки, но проблему пробок это не решает, лишь смягчает. Водители в Лондоне ежегодно тратят на стояния в заторах в среднем 9,5 дней — 227 часов.

Идей по выходу из этой ситуации не так уж много, и все они не новы. Например, начать использовать воздушное пространство городов. Вопросов к такому решению множество. Как обеспечить безопасность пассажиров и людей на земле и в домах, особенно в случае с дронами? Кто будет этим заниматься: ГИБДД или Росавиация? Как защититься от целенаправленных атак с помощью летающих такси? Как вообще таксомоторы и производители будут договариваться со спецслужбами об использовании воздушного пространства крупных городов? Где и как организовывать взлётно-посадочную инфраструктуру? Как быть с шумом от увеличивающегося парка (флота?) аэротакси?

И всё же ряд компаний обещают, что в диапазоне 2025-2030 запустят свои аэротакси. В англоязычной прессе уже сложилась аббревиатура для таких транспортных средств — eVTOL: electric vertical take-off and landing, электрические машины вертикального взлёта и посадки. Давайте рассмотрим некоторые из проектов.

Читать дальше →

Новые метрики объектных хранилищ

• Блог компании Mail.ru Group,
• DevOps,
• Облачные сервисы

• Перевод

Flying Fortress by Nele-Diel

Команда объектного S3-хранилища Mail.ru Cloud Storage перевела статью о том, какие критерии важны при выборе объектного хранилища. Далее текст от лица автора.

Читать дальше →

ngOo 9 октября 2020 в 15:06

Почему мы выбрали MobX, а не Redux, и как его использовать эффективнее

• Блог компании Mail.ru Group,
• Разработка веб-сайтов,
• JavaScript,
• ReactJS

• 🔥 Технотекст 2020

Меня зовут Назим Гафаров, я разработчик интерфейсов в Mail.ru Cloud Solutions. На дворе 2020 год, а мы продолжаем обсуждать «нововведения» ES6-синтаксиса и преимущества MobX над Redux. Существует много причин использовать Redux в своем проекте, но так как я не знаю ни одной, расскажу о том, почему мы выбрали MobX.

Почему?

Под капотом сортировок в STL

• Блог компании Mail.ru Group,
• Программирование,
• C++,
• Алгоритмы

Сценарий идеального технического собеседования

• Блог компании Mail.ru Group,
• Блог компании Delivery Club Tech,
• Разработка под iOS,
• Управление персоналом,
• Карьера в IT-индустрии

• 🔥 Технотекст 2020

Дисклеймер: это сценарий идеального технического собеседования в Delivery Club Tech. Мнение нашей команды может не совпадать с мнением читателей.

Привет, Хабр! Меня зовут Василий Козлов, я iOS-техлид в Delivery Club. Я часто и много провожу собеседования. В этой статье я собрал накопленный опыт и собственные наблюдения, которыми хочу поделиться. Во второй части статьи приведу пример собеса с комментариями со своей стороны. Итак, начнём.

1. Собесы бывают разные: жёлтые, зелёные, красные (лирическое отступление)

Есть мнение, что сложные технические собесы не работают. Сооснователь платформы для рекрутинга Interviewing.io Алин Лернер ранее писала, что компании, которые подбирают сотрудников, опираясь на сложные технические собеседования, «тратят ресурсы на множество кандидатов, которые не понимают игровую сущность собеседований». В результате на финишную прямую в таких компаниях выходят кандидаты, которые хороши именно в прохождении интервью.

Читать дальше →

AloneCoder 5 октября 2020 в 17:13

Как генерируются UUID

• Блог компании Mail.ru Group,
• Программирование,
• Проектирование и рефакторинг,
• Алгоритмы,
• Терминология IT

• Перевод

Вы наверняка уже использовали в своих проектах UUID и полагали, что они уникальны. Давайте рассмотрим основные аспекты реализации и разберёмся, почему UUID практически уникальны, поскольку существует мизерная возможность возникновения одинаковых значений.

Современную реализацию UUID можно проследить до RFC 4122, в котором описано пять разных подходов к генерированию этих идентификаторов. Мы рассмотрим каждый из них и пройдёмся по реализации версии 1 и версии 4.

Читать дальше →

Как мы проводили аудит Корпоративной Почты Mail.ru — нашего нового сервиса для крупного бизнеса

• Блог компании Mail.ru Group,
• Информационная безопасность,
• IT-инфраструктура

Корпоративные данные часто представляют собой коммерческую тайну. Их утечка может привести к удару по репутации, финансовым потерям или даже банкротству. Поэтому требования безопасности к B2B-продукту должны быть очень высокими. Создавая новый продукт — Корпоративную Почту Mail.ru — мы уделяли вопросу ее безопасности особое внимание.

Корпоративная Почта Mail.ru — on-premises версия знакомой всем B2C-почты Mail.ru. По сравнению с ней она содержит ряд модификаций для работы в новых условиях — контуре клиента.

Чтобы наши клиенты были уверены в безопасности, мы решили пройти аудит в сторонней компании и исправить все найденные недостатки до того, как предлагать продукт рынку. Для этого обратились к одной из самых авторитетных компаний в сфере информационной безопасности — Digital Security.

Результаты аудита — под катом.

Что удалось найти в процессе аудита

Автоскейлинг приложений Kubernetes при помощи Prometheus и KEDA

• Блог компании Mail.ru Group,
• DevOps,
• Kubernetes

• Перевод

Balloon Man by Cimuanos

Масштабируемость — ключевое требование для облачных приложений. С Kubernetes масштабировать приложение так же просто, как и увеличить количество реплик для соответствующего развертывания или ReplicaSet — но это ручной процесс. Команда Kubernetes aaS от Mail.ru реализовала в своем сервисе автоматическое машстабирование на уровне кластеров. Ну а если вы хотите оптимизироваться на уровне подов — то следуйте рекомендациям этого перевода.

Kubernetes позволяет автоматически масштабировать приложения (то есть Pod в развертывании или ReplicaSet) декларативным образом с использованием спецификации Horizontal Pod Autoscaler. По умолчанию критерий для автоматического масштабирования — метрики использования CPU (метрики ресурсов), но можно интегрировать пользовательские метрики и метрики, предоставляемые извне.

Это статья о том, как использовать внешние метрики для автоматического масштабирования приложения Kubernetes. Чтобы показать, как все работает, автор использует метрики запросов HTTP-доступа, они собираются с помощью Prometheus.

Вместо горизонтального автомасштабирования подов, применяется Kubernetes Event Driven Autoscaling (KEDA) — оператор Kubernetes с открытым исходным кодом. Он изначально интегрируется с Horizontal Pod Autoscaler, чтобы обеспечить плавное автомасштабирование (в том числе до/от нуля) для управляемых событиями рабочих нагрузок. Код доступен на GitHub.

Читать дальше →

Контрольный список для ревью кода в распределенных системах

• Блог компании Mail.ru Group,
• Анализ и проектирование систем,
• API

• Перевод

points of view by sanja

Микросервисная архитектура широко распространена в разработке программного обеспечения. Но организации, которые ее используют, помимо сложностей в реализации бизнес-логики сталкиваются еще и с распределенными сбоями.

Ошибки распределенных вычислений хорошо документированы, но их трудно обнаружить. В результате создание крупномасштабной и надежной архитектуры распределенной системы становится сложной проблемой. Код, который отлично выглядит в монолитной системе, может стать проблемой после перевода на сетевое взаимодействие.

Команда Mail.ru Cloud Solutions перевела статью, автор которой несколько лет занимался обнаружением типовых сбоев в коде на продакшене и изучал причины, приведшие к такому результату. В статье — рекомендации по проверке кода, которые автор использует в качестве базового контрольного списка.

Читать дальше →

pxeno 23 сентября 2020 в 18:00

Пять промахов при развертывании первого приложения на Kubernetes

• Блог компании Mail.ru Group,
• Виртуализация,
• DevOps,
• Облачные сервисы,
• Kubernetes

• Перевод

Fail by Aris-Dreamer

Многие считают, что достаточно перенести приложение на Kubernetes (либо с помощью Helm, либо вручную) — и будет счастье. Но не всё так просто.

Команда Mail.ru Cloud Solutions перевела статью DevOps-инженера Джулиана Гинди. Он рассказывает, с какими подводными камнями его компания столкнулась в процессе миграции, чтобы вы не наступали на те же грабли.

Читать дальше →

Краткое руководство по разработке чартов в Helm

• Блог компании Mail.ru Group,
• *nix,
• DevOps,
• Kubernetes

• Перевод

Unsplash by Frank Eiffert

Helm — мощный инструмент для применения, обновления и управления приложениями в Kubernetes. Сообщество Helm создает множество чартов с открытым исходным кодом. Вы можете развернуть Redis, Nginx или Prometheus Operator с помощью одной команды. И они поставляются со всем, что нужно, например с Ingress.

Команда Mail.ru Cloud Solutions перевела статью, автор которой описывает быстрый способ создания базового чарта, показывает полезные команды и делится лучшими практиками. Он не останавливается на аспектах языка шаблонов Go, поскольку большинство из них описаны в документации по Helm. В этом руководстве — более абстрактные аспекты и идеи по улучшению рабочего процесса.

Читать дальше →

Вначале был монолит: как мы меняем нашу архитектуру, не мешая бизнесу

• Блог компании Mail.ru Group,
• Блог компании Delivery Club Tech,
• Анализ и проектирование систем,
• Разработка под e-commerce,
• Микросервисы

• 🔥 Технотекст 2020

Всем привет! Меня зовут Игорь Наразин, я тим-лид команды в направлении логистики Delivery Club. Хочу рассказать, как мы строим и трансформируем нашу архитектуру и как это влияет на наши процессы в разработке.

Сейчас Delivery Club (как и весь рынок фудтеха) растёт очень быстро, что порождает огромное количество вызовов для технической команды, которые можно обобщить двумя самыми важными критериями:

• Нужно обеспечивать высокую стабильность и доступность всех частей платформы.
• Одновременно с этим держать высокий темп разработки новых фич.

Кажется, что эти две проблемы взаимоисключающие: мы либо трансформируем платформу, стараясь вносить новые изменения по минимуму, пока не закончим, либо быстро разрабатываем новые фичи без кардинальных изменений в системе.

Но нам удаётся (пока) и то, и другое. О том, как мы это делаем, и пойдет речь далее.

Читать дальше →