Обновить
18.94
Рейтинг

Облачные вычисления *

Концепция общего доступа к ресурсам

Сначала показывать
Порог рейтинга

Как Uber сэкономил 70 тысяч ядер благодаря полуавтоматической настройке сборки мусора

Серверная оптимизация *Облачные вычисления *Go *
Перевод

Введение


В рамках мер повышения рентабельности наша команда недавно занялась снижением затрат на вычислительные мощности посредством увеличения их эффективности. Один из самых значимых вкладов был внесён в области оптимизации GOGC. В этом посте мы хотим поделиться высокоэффективным, малоопасным, крупномасштабным полуавтоматизированным механизмом настройки сбора мусора в Go.

Технологический стек Uber состоит из тысяч микросервисов на базе нативной облачной архитектуры на основе планировщика. Большинство этих сервисов написано на Go. Наша команда Maps Production Engineering ранее сыграла важную роль в значительном повышении эффективности множества сервисов Java при помощи настройки сборки мусора. В начале 2021 года мы исследовали возможности достичь такого же эффекта в сервисах на Go. Мы запустили несколько профилей CPU для оценки текущего состояния дел и выяснили, что сборка мусора была главным потребителем ресурсов CPU в подавляющем большинстве критически важных сервисов. Ниже приведено описание некоторых профилей CPU, в которых сборка мусора (определяемая объектом runtime.scanobject) потребляет значительную долю выделенных вычислительных ресурсов.
Читать дальше →
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 3.9K
Комментарии 2

Новости

Сеть однородных линуксов [reoser]

Настройка Linux **nix *Облачные вычисления *Облачные сервисы
Tutorial

Всем привет. В своей предыдущей статье я описал общую идею создания площадки, где люди смогут объединяться в одну общую железячную сеть и использовать мощности друг друга. В основе этой идеи лежит идея создания распределенного кластера Kubernetes, к разворачиванию которого я планирую в скором времени приступить.

Но на начальном этапе важно подготовить сеть из однородных линукс машин, на которых стоит абсолютно одинаковый линукс, чтобы не пришлось решать одни и те же проблемы по несколько раз. А это может быть, т.к. все дистрибутивы линуксов имеют свои особенности, например, в плане того, какие модули ядра стоят как модули, а какие вкомпилены в ядро.

Поскольку ожидается, что изъявить желание подключиться к этой сети может любой пользователь с любыми железом и операционной системой (например, не только линукс, но и bsd системы и андроид, который является сильно урезанными линуксом), то хотелось бы иметь скрипт / программу / проект, который сможет сравнять все системы до одинаковых однородных линуксов по причинам, описанным выше. При этом в качестве реального железа может выступать и виртуальное, когда человек на своем оборудовании отрезает под виртуальные нужды часть своих мощностей и отдает их в сеть hardware банкинга.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 2.8K
Комментарии 3

Hardware и Software банкинг

Облачные вычисления *Облачные сервисы
Из песочницы

Привет, сообщество! Я первый раз пишу здесь статью и поэтому очень нервничаю. Я хочу поделиться с вами мечтой и жажду найти единомышленников, которые будут вместе со мной идти к этой мечте. Итак, поехали.

Мне, как и многим из вас, наверняка иногда не хватает возможности опубликовать какое-то своё веб-приложение в интернете или запустить какие-то вычисление на железе более мощном, чем домашний компьютер. Все эти желания объединяет следующее: нехватка ресурсов расчетных и/или временных (по обеспечению постоянной доступности приложения в сети). Последнее решается созданием своего сервера, но быть его админом совершенно не хочется.

И тут я задумался что то, чего мне не хватает - это не что иное, как облако. И Google Cloud, AWS, Microsoft Azure и прочие гиганты уже давно всё это изобрели. Всё так. Но эти решения дадут вам ресурсы только за деньги и должна быть альтернатива, как свободное программное обеспечение противопоставляется проприетарному. Должна быть свободная или хотя бы более свободная альтернатива этим облакам.

Читать далее
Всего голосов 13: ↑8 и ↓5 +3
Просмотры 3.4K
Комментарии 31

Как технологии преображают чайную индустрию Шри-Ланки

Облачные вычисления *Microsoft Azure Бизнес-модели Облачные сервисы IT-компании

Пандемия COVID-19 ударила по экономике Шри-Ланки. В чайной отрасли существовал особенно уязвимый элемент. В течение 137 лет «живые» аукционы были опорной точкой всей отрасли, в которой восемь брокеров островного государства продавали чай экспортерам и чайным брендам, а те, в свою очередь, готовили конечный продукт и поставляли его на полки супермаркетов в более чем 100 странах.

Начало пандемии грозило полным прекращением аукционов, так как правительства повсеместно ограничивали передвижение и вводили социальную изоляцию. Поэтому Чайный совет Шри-Ланки и Ассоциация экспортеров чая Коломбо обратились к местному партнеру Microsoft, компании CICRA Solutions, чтобы создать альтернативу.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 1.2K
Комментарии 0

Минуточку внимания

Как мы подключили третью зону доступности в облаке и наконец-то стали деплоить сервисы в виртуалках

Блог компании КРОК Облачные вычисления *Сетевые технологии *Облачные сервисы

Третью зону доступности в облаке мы развёртывали изначально для решения собственных задач — чтобы обеспечить «честный» кворум для наших внутренних распределённых сервисов. У нас было три собственных дата-центра, но лишь в двух из них были выделены зоны доступности для облака, при этом одна была основной, а вторая от неё зависела. Потенциально это грозило тем, что при отказе первой с проблемами столкнулись бы обе. Сейчас же облако может пережить отказ любой зоны доступности: ресурсы в других зонах останутся доступны и сохранится контроль над ними.

На новой площадке не было продуктивной нагрузки, развёрнутых систем заказчиков и всего прочего, для чего требовалось бы продумывать схемы перехода на новые решения таким образом, чтобы это не сказалось на работе заказчиков. Поэтому при развёртывании третьей площадки в кои-то веки мы были не скованы легаси и могли использовать новые технологии, которые только собирались внедрить в двух существующих зонах доступности.

Однако, от первых расчётов до развёртывания прошло почти три года. Технически всё можно было бы сделать проще и быстрее, но приходилось согласовывать свои планы с реальными возможностями и потребностями. Итак, обо всём по порядку.

Читать дальше
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 1.5K
Комментарии 3

Облачные технологии в современном предприятии

Облачные вычисления *Облачные сервисы
Из песочницы

В данной статье будет рассмотрена и раскрыта тема облачных технологий (Cloud Computing). Данная тема очень популярна и актуальна в наше время, а также можно с уверенностью сказать, что она будет еще более популярной в ближайшей будущем. Поэтому каждому человеку, который собирается строить карьеру и развивать IT-инфраструктуру своего будущего предприятия необходимо знать и понимать, что такое облачные технологии. Также в данной статье будет рассмотрена Ваша идея на миллион долларов, и как эту идею поднять на традиционной инфраструктуре и как ее поднять на облачной инфраструктуре, будет проведен анализ разницы между двумя перечисленными мною технологиями, и сделан вывод. Далее в статье будет рассмотрен вопрос ёмкости серверов против используемости этих серверов, а также будет раскрыт вопрос в чем заключается отличие данных характеристик. Обязательно рассмотрим и выделим несколько бенефитов, то есть плюсов, облачной инфраструктуры и рассмотрим их. И наконец проведем анализ современного рынка облачных вычислений, узнаем насколько большой он сейчас, и кто главные участники данного рынка.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.9K
Комментарии 2

Как Nokia использует Azure Arc для расширения возможностей клиентов в мультиоблачном мире

Блог компании Microsoft Облачные вычисления *Microsoft Azure Облачные сервисы IT-компании

Сегодня организации все чаще работают в мультиоблачных и гибридных средах, используя для управления своими технологическими активами сочетание публичных и частных облаков, а также граничных вычислений.

Как показывает опыт телекоммуникационного гиганта Nokia, это создает возможности и вызывает определенные трудности для предприятий в обслуживании своих клиентов. Финская компания недавно начала использовать Microsoft Azure Arc, платформу управления on-premises и мультиоблачными окружениями, сделав ключевой шаг в своем стремлении обслуживать клиентов в новой среде.

Читать далее
Рейтинг 0
Просмотры 311
Комментарии 0

Сертификация AWS: как и почему вам стоит её получить?

Блог компании Luxoft Облачные вычисления *Amazon Web Services *DevOps *

Всем привет. Меня зовут Дмитрий Бубнов, я работаю в Luxoft. Недавно я сдал экзамен AWS Solutions Architect Associate. Со второй попытки. Но не потому, что плохо подготовился — просто дьявол кроется в мелочах и, как оказалось, в удаче. На Хабре много хороших статей о подготовке к сдаче этого экзамена, но я всё равно решил поделиться своим опытом и рассказать, почему вам тоже стоит подумать об этом сертификате.

Читать далее
Всего голосов 16: ↑9 и ↓7 +2
Просмотры 16K
Комментарии 15

Проектирование кластеров Kubernetes: как выбрать оптимальную стратегию автомасштабирования

Блог компании VK Облачные вычисления *DevOps *Облачные сервисы Kubernetes *
Перевод

Pyramids of Egypt by acrosstars22

Масштабирование нод и узлов в кластере Kubernetes может занять несколько минут, если использовать настройки по умолчанию. Над сокращением этого времени стоит поработать, если возможны периоды взрывного роста нагрузки на сервис.

Команда Kubernetes aaS VK Cloud Solutions перевела статью о том, как задавать размеры узлов кластера, настраивать горизонтальное и кластерное автомасштабирование и выполнять избыточное резервирование ресурсов под кластер для ускорения масштабирования.
Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 4.3K
Комментарии 2

Мал золотник, да дорог: ученые из НИТУ «МИСиС» предлагают создать облачный супер-ПК из миллионов смартфонов

Блог компании Selectel Высокая производительность *IT-инфраструктура *Облачные вычисления *Гаджеты

В идее распределенных вычислительных систем нет ничего нового. Идея реализована уже давно, плюс примеров таких реализаций множество, включая SETI, Folding@Home и другие. Идея в том, что специальное программное обеспечение использует незадействованные ресурсы локальных систем — например, ноутбуков и ПК, направляя их на выполнение полезных задач. Ну да, это может быть поиск сигналов внеземного происхождения или разных форм белка.

Но обычно такие системы и составляются из ноутбуков или десктопных ПК. А что, если задействовать ресурсы смартфонов или планшетов? Эта идея тоже не новая, но сейчас ее реализацией занялись российские ученые — специалисты из МИСиС.
Читать дальше →
Всего голосов 39: ↑36 и ↓3 +33
Просмотры 4.8K
Комментарии 51

Microsoft отразила одну из самых крупных DDoS-атак в истории

Блог компании Microsoft Информационная безопасность *Облачные вычисления *Microsoft Azure IT-компании

Компания Microsoft в своем отчете Azure DDoS Protection за второе полугодие 2021 года сообщила, что в ноябре успешно отразила одну из самых крупных DDoS-атак в истории, которая была совершена на облачную платформу Microsoft Azure. Пиковый уровень трафика достигал 3,47 терабит в секунду, а скорость передачи пакетов (packets per second, pps), составила 340 миллионов пакетов в секунду. Распределенная атака исходила примерно от 10 000 источников из множества стран по всему миру и продлилась около 15 минут.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 2.8K
Комментарии 4

Политики управления рабочими нагрузками в Kubernetes

Блог компании VK Облачные вычисления *DevOps *Облачные сервисы Kubernetes *
Перевод

Control by Matthias-Haker

В Kubernetes с помощью политик можно предотвратить развертывание определенных рабочих нагрузок в кластере. 
Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 3.2K
Комментарии 1

OpenStack в корпоративном ЦОД. Опять?! Вроде давно же проехали…

Open source *IT-инфраструктура *Облачные вычисления *Серверное администрирование *DevOps *

Привет, хочу поделиться мыслями относительно OpenStack. История конечно не нова - годы безудержного хайпа вокруг этой технологии уже позади, это видно как субъективно, так и в отчётах Google Trends. Даже известные евангелисты этого продукта, вроде основателя Mirantis Александра Фридланда, подвели черту и отметили что тема в итоге не выстрелила и скатилась в ниши. О чем тогда разговор, если так все закончилось?

А вот давайте и обсудим!
Всего голосов 8: ↑6 и ↓2 +4
Просмотры 3.5K
Комментарии 9

Почему Kubernetes — это новый Linux: 4 аргумента

Блог компании VK Облачные вычисления *DevOps *Облачные сервисы Kubernetes *

+Star Patrol I+ by ERA7

Привет, я Павел Селиванов, Architect и Developer Advocate в VK Cloud Solutions. Современные тенденции в отрасли приводят меня к убеждению, что Kubernetes становится чем-то вроде Linux, и в этой статье хочу объяснить свою позицию.

Перед началом VK Kubernetes Conference мы провели опрос среди участников Вечерней школы Kubernetes. Спросили, используют ли они Kubernetes в своих компаниях: ответили «да» 73% участников.
Читать дальше →
Всего голосов 51: ↑29 и ↓22 +7
Просмотры 28K
Комментарии 42

FaaS, PaaS, SaaS или IaaS — поговорим о выборе облачной модели для e-commerce

Облачные вычисления *Разработка под e-commerce *Управление проектами *Управление e-commerce *Облачные сервисы
Перевод

Эта статья задумывалась для руководителей компаний, которые внедряют у себя платформу электронной коммерции и выбирают модель облачного хостинга между FaaS, PaaS, SaaS или IaaS. Но, на самом деле, эта статья универсальна — подойдет и клиентам дата-центров, и клиентам разработчиков облачных приложений, и даже людям, далеким от ИТ. Читайте о различиях, преимуществах и недостатках FaaS, PaaS, SaaS или IaaS для облачного хостинга любых "тяжелых" приложений с требованиями кастомизации под бизнес заказчика.

Читать далее ...
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 2.7K
Комментарии 0

Fujitsu объявляет о запуске решения PRIMEFLEX для Microsoft Azure Stack HCI в Технологическом центре Microsoft

Блог компании Microsoft Облачные вычисления *Microsoft Azure Облачные сервисы IT-компании

Компании Fujitsu и Microsoft сегодня объявили о запуске демонстрационной зоны для ознакомления заказчиков и партнеров с интегрированной системой PRIMEFLEX для Microsoft Azure HCI в Технологическом центре Microsoft в Москве. Демоплощадка предназначена для моделирования и тестирования различных сценариев развертывания и использования решения Fujitsu PRIMEFLEX для Microsoft Azure Stack HCI, что позволит организациям существенно упростить процесс реального внедрения Azure Stack HCI.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 459
Комментарии 0

Обходим файловый кэш Google Drive в Colab

Python **nix *Облачные вычисления *Big Data *Google Cloud Platform *

Про colab знают, наверное, все. Этот инструмент позволяет независимым исследователям использовать облачную инфраструктуру с GPU и TPU бесплатно или почти бесплатно.

Как всегда, проблемы возникают на больших данных. Если ваш датасэт лежит в google drive (он же Диск), то вы можете обращаться к нему напрямую из colab. Однако, если файл велик, например, 70+ GiB, то процесс обучения будет существенно медленнее, чем если бы этот же файл лежал в локальном хранилище, которое выделяется при создании инстанса.

Выход - скопировать файл с Диска в локальное хранилище (обучение станет быстрее в несколько раз!). Но дело в том, что colab и вся инфраструктура очень умная, файлы с Диска кэшируются каким то неуправляемым вами алгоритмом. И если у вашего инстанса, допустим, доступно ~120 GiB, то 70 GiB с Диска вы не скопируете, у вас закончится свободное место как раз из-за системы кэширования. То есть, команда cp не отработает корректно. И rsync то же. И tar. Кэширование работает на уровне драйвера. По сути файл копируется в локальное хранилище дважды. Шах и мат!

Так что вот вам небольшой костылёк:

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 5.4K
Комментарии 5

Как мигрировать с помощью vCAV и не получить дополнительно пару седых волос

Блог компании Nubes Виртуализация *Облачные вычисления *Резервное копирование *Облачные сервисы

Помогая нашим клиентам проводить аварийное восстановление или миграцию с помощью продукта vCAV, мы даже не предполагали насколько сложным иногда может оказаться этот процесс. Особенно много проблем возникает у новичков, у которых раньше не было опыта с vCAV. Но есть и хорошая новость — всего этого можно легко избежать, если заранее продумать детали и составить грамотный план переезда. В этом посте знакомим с особенностями инструмента VMware Cloud Availability и даем чек-лист по настройке всего процесса. 

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 954
Комментарии 0

Как вырасти с двух десятков до 700+ виртуальных машин в облаке и научиться выдерживать мощные нагрузки: опыт BelkaCar

Блог компании CloudMTS IT-инфраструктура *Облачные вычисления *Облачные сервисы
Не так давно в нашем блоге мы делились историей экстренной миграции инфраструктуры клиента. Однако бывают ситуации, когда компании не нужно ниоткуда мигрировать — она сразу приходит «жить» в облако без опыта использования on-premise за плечами. Так было с BelkaCar — стартап сразу развернул сервисы в нашем публичном облаке. Обсудим, насколько верным было это решение и как компания планирует развивать свою инфраструктуру.


Читать дальше →
Всего голосов 26: ↑15 и ↓11 +4
Просмотры 5.7K
Комментарии 2

Сравнение Red Hat OpenStack Platform и Canonical Charmed OpenStack

Блог компании Фактор груп Виртуализация *Облачные вычисления *Облачные сервисы
Перевод

Используя технологии частного облака, финансовые организации могут быстрее реагировать на изменения требований пользователей, рынка и регуляторов. Частное облако — это неотъемлемый компонент гибридной мультиоблачной стратегию для организаций, оказывающих финансовые услуги. Оно дает финансовым организациям конкурентные преимущества благодаря гибкой реализации и обеспечивает больше безопасности и меньше рисков для бизнеса по сравнению с публичным облаком.

С годами OpenStack стал фактическим стандартом создания частных облаков. Это модульная система из множества проектов, с помощью которой финансовые организации могут создавать масштабируемое частное облако или гибридную архитектуру на основе открытых стандартов. OpenStack позволяет переносить приложения между частными и публичными облаками, поэтому финансовые организации могут в любой момент сменить место размещения своих приложений и рабочих процессов без привязки к вендору. Кроме того, OpenStack можно интегрировать с основными бизнес-системами, такими как Active Directory и LDAP.

С развитием открытого банкинга в разработке финансовых приложений и цифровых сервисов для клиентов часто участвуют различные организации, которые сотрудничают друг с другом для достижения результатов. OpenStack позволяет финансовым организациям легко переносить рабочие нагрузки из одного облака в другое, включая частные и публичные облака. Кроме того, он ускоряет вывод на рынок новых финансовых продуктов, поскольку предоставляет портал самообслуживания для доступа к нужным ресурсам по требованию и платформу на базе API для разработки приложений, поддерживающих облако.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 2.2K
Комментарии 2

Вклад авторов