Как стать автором
Обновить
16.1

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Порог рейтинга
Уровень сложности

Тестируем отечественную систему виртуализации: SpaceVM

Время на прочтение 13 мин
Количество просмотров 8.6K

Привет, Хабр!

Сегодня будем внезапно тестировать SpaceVM. Внимательный читатель заметит, что этой системы в списке лидеров не было. Как же она стала участником эксперимента? Причина проста — мне банально не удалось достать дистрибутив ПК «Звезда», поэтому я решил заменить ее на SpaceVM. Не буду вас утомлять — давайте посмотрим, что внутри и как это работает!

Читать далее
Всего голосов 16: ↑12 и ↓4 +8
Комментарии 16

Новости

Hadoop в Облаке: история миграции сотен петабайт

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 3.2K

Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами на сотни петабайт данных все несколько иначе — такие кейсы встречаются редко. 

Меня зовут Михаил Марюфич. Я руководитель Data Platform в ОК, отвечаю за инфраструктуру для Big Data и машинного обучения. В этой статье я расскажу о нашем опыте переноса Hadoop с Bare Metal в облако: с чего стартовали, какие варианты рассматривали, как выстроили миграцию и с чем сталкивались в процессе.

Читать далее
Всего голосов 29: ↑29 и ↓0 +29
Комментарии 4

Опыт масштабирования Kubernetes на 2k узлов и на 400k подов

Уровень сложности Сложный
Время на прочтение 8 мин
Количество просмотров 10K

Расскажу, как мы в PayPal начинали осваивать Kubernetes. На тот момент большинство наших рабочих нагрузок выполнялось на Apache Mesos, и в рамках этой миграции нам требовалось разобраться с некоторыми аспектами производительности у кластеров, в которых будет работать Kubernetes – с учётом той плоскости управления, что действует в PayPal. Из всех этих аспектов важнее всего было понять, как именно масштабируется платформа, а также выявить, как можно было бы улучшить масштабируемость, настраивая параметры кластера.

Тогда как Apache Mesos может прямо из коробки масштабироваться вплоть до 10 000 узлов, масштабировать Kubernetes непросто. При масштабировании Kubernetes требуется учитывать не только количество узлов и подов, но и ещё некоторые вещи, в частности: сколько ресурсов создано, сколько у нас контейнеров на под, сколько всего сервисов задействовано, а также пропускная способность при развёртывании подов. В этом посте описаны некоторые проблемы, с которыми нам довелось столкнуться при масштабировании, и рассказано, как нам удалось с ними справиться.
Читать дальше →
Всего голосов 38: ↑34 и ↓4 +30
Комментарии 10

Тренды облачных технологий в мире и России. Меню на 2024 год

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.8K

В декабре мы активно поглощали мандарины и ежегодные прогнозы по облакам. В какой-то момент и того, и другого оказалось слишком много. 

На сегодня мандарины наконец-то закончились, а вот аналитических отчетов стало больше. Мы собрали их, изучили и выделили общие мировые тренды на 2024 год. А на десерт прошлись по российским прогнозам. В этой статье оставили только самое интересное на наш вкус, конечно.

Читать далее
Всего голосов 9: ↑5 и ↓4 +1
Комментарии 2

Истории

Крупномасштабный стриминг видео с использованием Kubernetes и RabbitMQ

Уровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 11K
Давайте поговорим о тех проблемах, с которыми приходится сталкиваться на сайтах для стримингового видео, и как организовать архитектуру такого сайта, чтобы было проще справляться с нагрузками.

image
Читать дальше →
Всего голосов 21: ↑18 и ↓3 +15
Комментарии 17

Open Source Cloud Computing 2

Время на прочтение 1 мин
Количество просмотров 2.6K

Для того, чтобы построить облачный сервис понадобится горизонтально масштабируемая база данных. Cloudstack «из коробки» не знает что такое HA, предполагается, что для этого нужно использовать встроенный функционал MySQL или такое решение как Galera Cluster. Но мы пойдем другим путем и остановим свой выбор на Vitess – надежной, легко масштабируемой системы кластеризации для MySQL.

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 1

Генерация ответов с расширенным поиском в техподдержке на основе YandexGPT, ChatGPT

Уровень сложности Средний
Время на прочтение 20 мин
Количество просмотров 3.8K

Статья посвящена рассмотрению процесса создания системы генерации ответов службы технической поддержки. Для этого используется методика с расширенным поиском, известная как Retrieval-Augmented Generation (RAG). Процесс основан на использовании шаблонов и реальных вопросов-ответов техподдержки. В качестве основных инструментов применяются YandexGPT / ChatGPT и ChromaDB.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 8

Serverless в первый раз

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 6.3K

Давно я приглядывался к Serverless технологиям, но все не доходили руки. Как и во многих компаниях, там где я работаю есть строгое разделение на бэкендеров и фронтендеров. Проблемы у этого известные и самая неприятная — надо договариваться, а разработчики далеко не всегда самые общительные люди.

Но однажды все поменялось...
Всего голосов 18: ↑17 и ↓1 +16
Комментарии 24

Оверлоад. К чему приводит перегрузка из-за слишком большого трафика

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 3.4K


Народная мудрость гласит: в жизни нужно быть готовым ко всему, в том числе, и к популярности. Впервые я столкнулся с подобной проблемой чуть более 20 лет назад. В начале «нулевых» я запустил небольшой пет-проект на обычном shared-хостинге, и, видимо, он пришелся по душе не только мне самому. Упоминание о моем стартапе попало в популярную рассылку Алекса Экслера, после чего сайт благополучно рухнул под небывалым наплывом посетителей. Тогда я не потерял из-за этого инцидента ничего, кроме килограмма нервных клеток. Прошло почти два десятилетия, но подобное продолжает случаться с завидным постоянством, и крупные компании порой теряют миллионы долларов из-за отказов своих сайтов в результате непросчитанной нагрузки. Вот самые известные и курьезные случаи в этом ряду.
Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Комментарии 5

Тестируем отечественную систему виртуализации: РЕД Виртуализация

Время на прочтение 12 мин
Количество просмотров 8.1K

Привет, Хабр!

Пришло время продолжить сагу об импортозамещении и российской виртуализации. И сегодня я буду разбирать по винтикам РЕД Виртуализацию. В опросе он занял почетное второе место, посмотрим, оправдает ли решение надежды проголосовавших за него читателей.

Читать далее
Всего голосов 18: ↑13 и ↓5 +8
Комментарии 19

Open Source Cloud Computing

Время на прочтение 5 мин
Количество просмотров 2.1K

Написано по мотивам недавней статьи: Особенности национальной виртуализации на SharxBase
и Большое тестирование российских систем виртуализации

Оставим критику этих замечательных продуктов для тех кому с ними приходится работать. Ребята стараются и это уже не плохо.

Такие проекты как OpenStack стоят достаточно дорого в обслуживании, если ваша компания не облачный провайдер или интегратор, а возможностей Proxmox не хватает для строительства IaaS.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 5

Особенности национальной виртуализации на SharxBase

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 2K

После ухода из России компании VMware и других крупнейших мировых поставщиков решений виртуализации и облачной инфраструктуры, появилась срочная задача найти альтернативу привычным инструментам. В процессе поиска команда Linx исследовала одно из доступных на российском рынке  решений ― программно-аппаратную платформу виртуализации SharxBase. Делимся своими впечатлениями.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 7

Переход на Serverless: как выстроить архитектуру своего приложения

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.5K

Как менеджер продукта и один из амбассадоров serverless я регулярно рассказываю о преимуществах этого подхода и показываю, как с помощью бессерверных вычислений повысить эффективность затрат на инфраструктуру. Но как и у любого подхода, у serverless есть свои ограничения, которые важно учесть в своей IT-стратегии.

В этой статье расскажу о затруднениях, с которыми сталкиваются разработчики при переходе на serverless, и покажу, как можно их избежать на уровне архитектуры приложения.

Читать далее
Всего голосов 11: ↑10 и ↓1 +9
Комментарии 2

Ближайшие события

One Day Offer от УЦСБ
Дата 17 февраля
Время 10:00
Место
Онлайн

Инсталлируем Sangfor HCI. Часть 2

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 609

Продолжаем изучать Sangfor — азиатскую альтернативу популярным продуктам HCl (Hyper Converged Infrastructure), которые недавно покинули российский рынок.

В этот раз расскажу и покажу все основные моменты развертывания кластера, а также как добавить лицензию, подключить внешнюю СХД и настроить aSAN.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 6

vStack стал спонсором и контрибьютором новой значимой функциональности ZFS: RAIDZ Expansion

Время на прочтение 4 мин
Количество просмотров 2.2K

Недавно в ZFS появилась новая и очень значимая функциональность RAIDZ  expansion. Задача решалась с 2020 года и vStack принимал в ней весомое участие в качестве контрибьютора и спонсора.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 6

Serverless на бюджете

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 2.6K

Serverless на бюджете: Делаем FaaS (функция-как-сервис) с помощью OpenWhisk, чтобы было как в облаках.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 0

DDoS, китайские ботнеты и клиенты с особыми потребностями. Будни ЦОДов 3data

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 3.4K

Дата-центр — заманчивая цель для кибератак и непростой объект для защиты. Мы решили выяснить, как обеспечивается бесперебойная работа ЦОДов руководителя отдела информационной безопасности 3data Павла Черных, и публикуем его рассказ.

Из него вы узнаете, как выглядят три кита безопасности ЦОД, к каким специфическим инцидентам постоянно готовятся на этих объектах и почему дата-центры привлекают бездомных. А напоследок вы получите несколько практических советов по выбору надежной площадки для размещения своей инфраструктуры.

Читать далее
Всего голосов 25: ↑22 и ↓3 +19
Комментарии 0

Как Wazuh помог наладить круглосуточный мониторинг и реагирование на ИБ-события

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 5.4K

Представим ситуацию. Вы хотите выстроить процесс реагирования на ИБ‑инциденты в компании. Для этого нужно вовремя фиксировать атаки на вашу инфраструктуру. Вы решаете собирать логи и мониторить все, до чего можете дотянуться: хосты, межсетевые экраны, антивирусы, пользовательские устройства. Логов много, они разные. В таком объеме данных сложно вычленить что‑то полезное даже самому опытному ИБ‑специалисту. А вам нужно, чтобы в нем могли разобраться дежурные администраторы (первая линия техподдержки), которые знают только базу, но зато на посту 24 на 7. Они должны фиксировать аномалии, реагировать на типовые угрозы по регламенту, а сложные кейсы дальше передавать профильным ИБ‑инженерам для купирования и расследования атак.

Именно с такой задачей мы имели дело, когда решили выстроить такую систему реагирования на ИБ‑угрозы в нашем облаке NGcloud. Меня зовут Иван, я занимаюсь защитой облачной инфраструктуры. Сегодня я расскажу, как мы организовали все вышеперечисленное при помощи Wazuh.

Почему выбрали Wazuh?

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 7

Backup and Restore — виртуальные машины в облаках/хостингах

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 4.9K

Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:

1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.

2. Иметь возможность в любой момент сконвертировать нужную версию из резервной копии в виртуальную машину (в любом формате) и запустить ее на нашем оборудовании (т. е. приземлить виртуальную машину из облака на грешную...).

И так, поехали!

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 27

Архитектурные нюансы OpenStack. Базы данных как сервис, реализация Trove

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 1.6K

Привет, Хабр.
Это вторая статья в цикле, в котором мы рассматриваем архитектуру основных сервисов OpenStack. Первая, в которой я рассказывал о Nova и общих паттернах построения платформы, находится здесь. Сегодня погрузимся в детали реализации сервиса DBaaS, который в платформе носит название Trove. Мы посмотрим, как устроены основные компоненты сервиса и их взаимодействие, затронем некоторые особенности реализации механизмов безопасности, а также кратко обсудим особенности code-style.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

Вклад авторов