Облачные вычисления *

Многие из вас слышали про мировой успех облачных компаний и таких компаний как Amazon Web Services, Microsoft Azure и Google Cloud Platform. Сейчас мы видим, как отечественное облако активно развивается – Яндекс Облака, Mail.ru облако и Сбербанк тоже работает в этом направлении.

Лично у меня нет опыта работы с отечественным облаками и пока они еще достаточно молодые, но, я очень надеюсь, что они справятся с задачей и у нас появятся конкурентно способные облачные провайдеры.

Сам я занимаюсь задачами аналитики и инжиниринга данных, то есть работаю с buzz words – Big Data, Data Platform, Lakehouse, Data Lake, Data Science, Machine Learning (ML), AI и т. п., в крупных международных компаниях – Amazon, Microsoft, Xbox.  Про все эти дела я уже 3 года успешно пишу в своем телеграмм канале Инжиниринг Данных, где уже больше 10 тысяч подписчиков.

Я работаю с облаками с 2014 года, с 2016 по 2020 в Амазоне (почти 5 лет), где принимал участие в знаменитом проекте Rolling Stone по миграции on-premise инфраструктуры для аналитики в облако AWS.

Привет, я Кирилл Шеховцов, технический лидер в SberCloud и ментор хакатонов Сбера. Я знаю, как выглядит внутренняя кухня таких соревнований, чем они интересны и как сделать так, чтобы ваша команда прошла отбор и победила в конкурсе — обо всем этом расскажу сегодня. Эти знания пригодятся вам не только на хакатонах, но и на других тематических соревнованиях — например, на нашем онлайн-чемпионате по анализу данных AI Journey Contest 2021.

Всем привет, приходилось иметь дело с каким-либо продуктом, в котором упоминалось слово «автоматизация»? Сейчас всё чаще нам приходится встречаться с автоматизацией множества процессов внутри компаний разного калибра, как крупных, так и не очень. И хотелось бы рассказать об одном из таких средств автоматизации тестирования, как Automated Test Framework, или же просто ATF, широко применяемом в рамках ServiceNow. В статье описана вводная часть, состоящая из нескольких разделов, в совокупности дающая общее представление об опыте применения автоматизированного тестового фреймворка на практике, плюсы и минусы, перспективы развития, в том числе совокупный отзыв и впечатления других разработчиков о том, чего не хватает, с какими проблемами приходится сталкиваться и чем решение может быть полезно.

Едва ли не каждая современная технологическая компания продает облачные вычислительные мощности или что-то с ними связанное. Это нормально: облачный рынок год от года растет, становится богаче и шире. Однако вряд ли хотя бы один современный маркетолог или разработчик хотя бы раз всерьез задавался вопросом, откуда вообще пришел этот термин. Что под ним понимали авторы оригинальной концепции? Под катом мы исправим эту историческую несправедливость и назовем имена основоположников облачного подхода.

Вы заинтригованы? Добро пожаловать под кат!

Эта пятничная история началась еще пять лет назад. Один мой друг, который в то время помогал запускаться разным стартапам, пожаловался на производительность базы данных, размещенной в Azure. По его словам, они провозились почти все выходные, но добиться приемлемого времени отклика от БД им не удалось, несмотря на все попытки. Даже переход на существенно более дорогой тариф не принес ощутимых результатов. Помню, я тогда еще подумал, что было бы неплохо протестировать все это самому, но времени не было и идея осталась не реализованной, хотя сам разговор я запомнил хорошо.

И вот, спустя пять лет случается флешбэк — выходит статья о нагрузочном тестировании Azure, в которой автор добивается 4 запроса в секунду за 250$ в месяц. Тут уж я просто не мог пройти мимо. Ведь не может такого быть, чтобы второе по величине облако давало так мало за не самые маленькие деньги, правильно? Поэтому я очень быстро набросал простейшее веб приложение на .NET, накатил базу StackOverflow за 2010 год, запустил туда скромную нагрузку в 100 RPS и стал судорожно протирать свои глаза. Даже такую нагрузку мое приложение не держало, причем вообще. 50 RPS тоже оказались слишком высокой планкой, как, впрочем, и 25. И тут я понял, что так дело не пойдет — к вопросу надо подходить системно.

Итак, кому интересно сколько стоит 100 RPS в Azure с .NET Core MVC + .NET 5 + MSSQL на Kestrel — берите кофей и прошу под кат.

Netflix создаёт интересный и качественный контент, который часто собирает награды на фестивалях, так что потребности студии подталкивают технологический прогресс. Так появились облачные конвейеры постпроизводственного редактирования и совместной работы, которые требуют сложного набора функций, включая создание и размещение высококачественного прокси-контента. После получения, проверки и кодирования контента этап упаковки инкапсулирует закодированные видео и аудио в независимые от кодека медиаконтейнеры. Благодаря этому становятся доступными синхронизация аудио-видео, произвольный доступ к элементам и защита от копирования. 

Необходимость поддерживать рабочие процессы ставит перед упаковочной службой новые задачи. Но это коротко. А теперь давайте поговорим об этом подробнее.

Привет, Хабр! Меня зовут Роман Петров, занимаюсь разработкой продуктов для управления учетными данными в SberCloud. В рамках одного проекта мне потребовалось автоматизировать сборку виртуальных машин под VMware Cloud Director.

Можно было решить эту задачу с помощью инструментов VMware: Fusion, Workstation или Player, но они требуют покупки лицензий, а последний еще и установки не обновляемого пакета VMware VIX API в случае GNU\Linux. Я выбрал альтернативный путь и построил необходимый пайплайн на базе опенсорсного VirtualBox.

Под катом — кратко о том, как я это сделал.

В Red Hat OpenShift 4.8 появилась общедоступная версия функции Bring Your Own Host для Windows, которая позволяет включать в кластер OpenShift кастомные ноды Windows (так называемые «ноды-питомцы», см. ниже). О чем вообще речь? У многих заказчиков в дата-центрах есть выделенные инстансы Windows-серверов, которые регулярно обновляются, патчатся и сопровождаются. Зачастую эти инстансы работают на платформах vSphere, OpenStack или на «голом железе». Было бы очень неплохо использовать эти сервера для запуска контейнерных нагрузок, сделав их вычислительные мощности частью гибридного облака. Именно эту задачу и решает Bring Your Own Host (BYOH) – берет и переносит on-premises нагрузки в облако.

... а также шпаргалка Linux-команде find и watch.

Мы собрали для вас короткий и полезный дайджест полезных материалов, найденных нами в сети за последние две недели. Оставайтесь с нами – станьте частью DevNation! 

Хабр, привет! Меня зовут Георгий Липатов. Я — DevOps-инженер, работаю в Сбере, также сопровождаю мониторинг и бэкапы в Sber Tax Free.

Мы начали строить этот сервис в конце прошлого года — тогда наша ИТ-команда состояла из двух backend-разработчиков, DevOps-инженера и пары специалистов по frontend’у. Чтобы не терять время и проверить первые гипотезы, мы решили развернуть стенды для разработки и тестирования в облаке. Помимо решений в области информационной безопасности нам, конечно же, были необходимы удобные инструменты для развертывания, мониторинга и бэкапов. Плюс — масштабируемые ресурсы в зависимости от потребностей проекта.

Как только мы подготовили чуть более развернутое описание наших запросов и рассказали о проекте коллегам из SberCloud, они предоставили нам тестовый доступ и документацию для SberCloud.Advanced. В итоге мы развернули стенды за несколько минут, а еще — сняли с себя необходимость отслеживания обновлений, патчинга и оплаты отдельных инструментов. Последний момент заключается в том, что вместо запуска дополнительной «виртуалки» можно воспользоваться бесплатным сервисом, который предоставляет платформа.

Далее я расскажу о настройке стенда для тестового приложения в формате пошагового туториала. Всех заинтересовавшихся приглашаю под кат.

Каждый из нас не раз и не два в своей жизни слышал возмущённое «оно само сломалось» в ответ на вопрос, как случилась та или иная неполадка в компьютере или ПО. В 99% случаев это происходит «не само». Но есть 1%, когда пользователь действительно не виноват, и причиной сбоя является не «человеческий фактор», а случайность. Случайность, вызванная космическим излучением. Давайте об этом и поговорим.

Чтобы представить будущее, вам необходимо понять, какие возможности перед вами и вашей организацией открывает облако сегодня. В рамках этого вводного курса «День виртуального обучения Microsoft Azure: основы» рассказывается о концепциях, моделях и сервисах облачных вычислений. Рассматриваются такие темы, как публичное, частное и гибридное облако, а также инфраструктура как услуга (IaaS), платформа как услуга (PaaS) и программное обеспечение как услуга (SaaS).

Подробности и регистрация.

Hystax — подходящее решение для миграции, если нужно перенести ВМ с Linux или Windows между разными платформами: VMware, OpenStack, AWS и так далее. C его помощью можно переехать на любую из этих платформ даже с bare-metal. Мы уже не раз использовали Hystax для переезда наших клиентов с VMware в OpenStack. Также Hystax можно использовать для послеаварийного восстановления (DR).

Несколько месяцев назад один из клиентов обратился к нам с задачей переезда с OpenStack на VMware. Потом клиент передумал, но мы все равно провели пару тестов с миграцией и аварийным восстановлением на VMware. Выяснилось, что без знания особенностей Hystax можно внезапно закопаться в ручных настройках сети. Для DR это фатально, так как ручная настройка сразу увеличивает RTO. Но и для миграции настройка вручную не очень хороша. Без опыта с Hystax можно неверно спланировать работу, не уложиться в технологическое окно и нарушить сроки переезда.

В статье расскажу, где настройки могут не подняться автоматически и как с этим бороться. Показывать буду на версии Hystax DR 3.7.1701.

Вопрос об облачных вычислениях и локальных решениях больше не стоит так остро, как раньше. Это может показаться смелым заявлением для специалистов, которые привыкли думать об облаке и о внутренней среде как о двух разных вселенных. Но я думаю, что пора изменить эту точку зрения.