Как стать автором
Обновить
5.07
Рейтинг

Amazon Web Services *

Инфраструктура платформ облачных веб-сервисов

Сначала показывать
Порог рейтинга

Как сэкономить на ресурсах с помощью модуля Terraform для AWS Spot Instance

Блог компании Конференции Олега Бунина (Онтико) Хостинг Amazon Web Services *Конференции DevOps *

Иногда бывает довольно сложно сэкономить на Spot Instance Amazon Web Services (AWS). Не стоит забывать, что по сути это — аукцион. Цены хоть и не меняются так же резко, как на биржах, тем не менее могут расти, пока не достигнут ondemand. Бывает, что такое продолжается не день и не два, а до нескольких месяцев, что приводит к повышению расходов вдвое на обычные ресурсы.

Как не попасть в ситуацию, когда, например, в ноябре всё прошло отлично, а в декабре из-за праздничного ажиотажа прайс удвоился, и вы получили не только дорогую систему, а ещё и с прерыванием? Давайте разберем причины, почему так происходит. Для этого рассмотрим стратегии распределения Spot Instance и поймем, как можно использовать модуль Terraform без всех этих проблем и при этом еще и сэкономить. В этом нам поможет инженер по облачным сервисам и архитектор AWS Владимир Самойлов, участник сообщества FivexL.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 735
Комментарии 0

Новости

SNS и SQS: разбираемся, какие есть способы обмена сообщениями в облаках

Amazon Web Services *Облачные сервисы Микросервисы *Serverless *

Привет, Хабр! Сегодня поговорим о принципах асинхронной работы с сообщениями и их очередями в распределенной и бессерверной архитектуре. У Amazon для этого есть веб-сервисы Simple Notification Service (SNS) и Simple Queue Service (SQS): они позволяют обмениваться сообщениями между микросервисами. В этой статье разберём, чем они отличаются, что могут и какие есть ещё предложения на этом рынке.

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 1.6K
Комментарии 2

Масштабирование бессерверного поискового робота и поисковой системы

Amazon Web Services *Serverless *
Перевод

Создание поисковой системы, безусловно, не самая простая задача. Чтобы пользователь мог быстро получить релевантный ответ на свой запрос, вы должны непрерывно добывать данные с веб-страниц и индексировать их содержимое. Главная цель при реализации — избежать чрезмерной сложности инфраструктуры, сохранив гибкость решения. Какой же должна быть при этом архитектура? Ответ на этот вопрос не очевиден. В этой статье мы расскажем о бессерверной поисковой системе, способной масштабироваться с целью обхода и индексирования крупных сайтов.

Читать перевод далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.1K
Комментарии 0

Oracle, Docker, AWS: альтернативы сервисам для разработчиков, которые уже заблокировали в России или скоро заблокируют

Блог компании Хекслет Amazon Web Services *GitHub Облачные сервисы

С начала марта зарубежные IT-компании ограничивают или полностью закрывают доступ к своим продуктам пользователям из России. В списке, среди прочих, — Microsoft, Oracle, Amazon и другие крупные компании. Рассказываем, какие существуют альтернативы уже заблокированным сервисам и что делать, если заблокируют до сих пор доступные. Этот материал постоянно обновляется.

Прежде чем рассказывать об альтернативах, следует уточнить, что доступ к большей части сервисов можно получить через VPN. Однако обход блокировки не поможет, если сервис заблокировал аккаунт пользователя или приостановил подписку.

Еще один важный момент: почти все ПО в списке заблокировано добровольно,  — то есть со стороны издателя, а не со стороны российских контролирующих органов.

Читать далее
Всего голосов 32: ↑27 и ↓5 +22
Просмотры 21K
Комментарии 52

Пишем простой счетчик для сайта или приложения с помощью Google Cloud Functions и AWS Lambda/Snowflake

Amazon Web Services *Веб-аналитика *Аналитика мобильных приложений *Google Cloud Platform *Data Engineering *
Из песочницы

Как работают популярные счетчики веб или мобильной аналитики, например, Google Analytics или AppsFlyer? На сайт устанавливаются их коды или в приложение интегрируется мобильное SDK. Потом при каждом действии клиента отправляется http запрос на сервер аналитики.

У использования стандартных счетчиков/пикселей есть минусы:

некоторые посетители используют анонимайзеры, которые блокируют такие запросы;

их сложно кастомизировать под себя.

В этой статье мы напишем собственный простой счетчик, который будет решать эти проблемы. Встроим его в PowerBI отчеты. Но принцип одинаков, его можно будет использовать и на веб-сайте, и в приложении, и в других  устройствах с доступом к интернету. Попробуем две точки сбора событий, чтобы изучить больше технологий: Google Cloud Function, которая будет писать события в Google BigQuery, и Amazon Lambda Functions с записью событий в Snowflake.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.5K
Комментарии 0

Как устроена MemQ — система PubSub в Pinterest

Блог компании SkillFactory Высокая производительность *Программирование *Amazon Web Services *Big Data *
Перевод

MemQ — это дополнение к Kafka, отделяющее аппаратную часть чтения и записи от слоя хранения данных. Разработчики Pinterest постепенно заменяют Kafka на MemQ: балансировка с ним не только проще благодаря унификации данных, но и дешевле в 10 раз. К старту флагманского курса по Data Science приглашаем под кат за подробностями.

Читать далее
Всего голосов 8: ↑6 и ↓2 +4
Просмотры 2.3K
Комментарии 2

Back to 2021. Нововведения в Serverless с re:Invent от AWS

Amazon Web Services *Конференции Serverless *

Ежегодный AWS re:Invent, проходивший в конце 2021 года, принёс массу новостей про бессерверные технологии Янашёл самые интересные: и под катом мы поговорим про запуск функций на Graviton2, новых возможностях для машинного обучения, перенос разработки в облако и визуальный редактор для step-функций.

Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 1.1K
Комментарии 0

Serverless AWS инфраструктура игры Emozle

JavaScript *Разработка игр *Amazon Web Services *Дизайн игр *Serverless *

Всем привет! Не так давно я запустил игру Emozle, вдохновившись идеей Wordle. Посетители сайта видят лишь html, несколько js и css файлов, а я бы хотел поделиться с вами тем, что скрыто! Ну и кому может быть интересна диаграмма AWS архитектуры, если не Хабру?

Читать далее
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 1.9K
Комментарии 7

Как мы создавали мощный сервис для обучения нейронных сетей в помощь разработчикам и бизнесу

Анализ и проектирование систем *Обработка изображений *Amazon Web Services *Машинное обучение *Искусственный интеллект
Из песочницы

Машинное обучение стало популярной темой в последние годы, причем не только в среде разработчиков, но у широкой общественности. При этом разработка моделей для обучения нейронных сетей требует высокого уровня знаний и опыта в предметной области. Не все, кому она требуется, могут обучить себе модель самостоятельно, а обращаться к сторонним специалистам дорого. Рассказываем о том, как мы создавали сервис по обучению нейронных сетей для бизнес пользователей и разработчиков совместно с AI-стартапом.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 3.1K
Комментарии 3

Сертификация AWS: как и почему вам стоит её получить?

Блог компании Luxoft Облачные вычисления *Amazon Web Services *DevOps *

Всем привет. Меня зовут Дмитрий Бубнов, я работаю в Luxoft. Недавно я сдал экзамен AWS Solutions Architect Associate. Со второй попытки. Но не потому, что плохо подготовился — просто дьявол кроется в мелочах и, как оказалось, в удаче. На Хабре много хороших статей о подготовке к сдаче этого экзамена, но я всё равно решил поделиться своим опытом и рассказать, почему вам тоже стоит подумать об этом сертификате.

Читать далее
Всего голосов 16: ↑9 и ↓7 +2
Просмотры 17K
Комментарии 15

Мой опыт собеседования в Amazon

Алгоритмы *Amazon Web Services *C# *Распределённые системы *IT-компании

О чём эта статья

Это не история успеха, потому что в Амазон меня не взяли, но и не история полного лузера, который бомбит из-за своей тупости, ибо позже я прошел в Майкрософт, о чем будет отдельный пост. 

Это история о моем опыте собеседования в Амазоне, почему мне в целом не понравилось по сравнению с другими FAANG. Так же тут будут ответы на “а что конкретно спрашивали на интервью, какие были задачки, что на систем дизайне было”, потому что мне не дали подписать NDA, все с пруфами, скринами и прочее.

В общем и целом, статья будет о моем опыте, какие были интервью, что было сложного, что не очень, как я готовился, и какая доля везения в этом всем.

Начало, предложение от Amazon

В один прекрасный день 6 сентября, мне пришел такой сообщение в Линкедин.

Читать далее
Всего голосов 93: ↑90 и ↓3 +87
Просмотры 52K
Комментарии 177

Как разработчику применять принципы лидерства Amazon

Программирование *Amazon Web Services *Карьера в IT-индустрии IT-компании
Перевод

Добрый день, меня зовут Павел Поляков, я Principal Engineer в каршеринг компании SHARE NOW, в Гамбурге в 🇩🇪 Германии. А еще я автор телеграм канала Хороший разработчик знает, где рассказываю обо всем, что обычно знает хороший разработчик.

Сегодня хочу поговорить о принципах лидерства в Amazon. Это перевод оригинальной статьи.

Amazon является одной из самых больших и дорогих технологических компаний в мире. На Amazon работают десятки тысяч разработчиков. Все они получают хорошую компенсацию от 150.000$ в год и выше. Удивительно, но вся внутренняя политика Amazon основывается всего лишь на 16 принципах. 16 коротких фраз, которые определяют как ведет себя хороший сотрудник в Amazon.

Давайте посмотрим что это за принципы и как они помогают разработчикам в Amazon быть наиболее продуктивными.

Читать далее
Всего голосов 19: ↑13 и ↓6 +7
Просмотры 7.4K
Комментарии 25

Amazon S3 — детективное расследование внутренней архитектуры

Анализ и проектирование систем *Amazon Web Services *Облачные сервисы Распределённые системы *

Мне понравился опыт прошлого расследования по фейсбуку, и я решил организовать очередную серию, теперь про Amazon. Для нетерпеливых — в самом конце статьи описан итоговый вариант архитектуры Amazon S3 и проанализированы его свойства.



Не так давно Амазон объявил о переходе S3 с модели eventual consistency на strong consistency, то есть, предоставления гарантии read-after-write, чтения того, что было только что записано. Сообщество отреагировало, но как-то очень вяло: Amazon S3 Now Delivers Strong Read-After-Write Consistency


Первое, что лично мне подумалось в ответ на эти новости: а как же теорема CAP?

Читать дальше →
Всего голосов 43: ↑43 и ↓0 +43
Просмотры 13K
Комментарии 16

AWS re:Invent 2021. Keynotes — хранение данных и IoT

Блог компании Softline Amazon Web Services *Хранение данных *Облачные сервисы Интернет вещей

Вот и подходит к концу AWS re:Invent 2021 - одно из главных событий года в мире облачных технологий. И в этой статье мы хотели бы поделиться финальной порцией анонсов. Очень много интересных новостей, начиная со снижения цен на хранилище S3, запуска EC2 на базе M1, расширения сетевых возможностей, заканчивая множеством новинок и для разработчиков. Можно не только почитать, но и подключиться к стриму, где архитекторы из AWS обсудят эти новинки и ответят на ваши вопросы. Регистрация здесь

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 1K
Комментарии 0

AWS re:Invent 2021. Keynotes — AI/ML

Блог компании Softline Amazon Web Services *Машинное обучение *Облачные сервисы Искусственный интеллект

Продолжаем делиться последними анонсами с AWS re:Invent 2021. Смело можно назвать третий день re:Invent днем машинного обучения и баз данных, внушительный список обновлений и новых релизов разберем в этой статье.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.2K
Комментарии 0

AWS re:Invent 2021. Keynotes

Блог компании Softline Облачные вычисления *Amazon Web Services *DevOps *Облачные сервисы

2021 год для Amazon Web Services является юбилейным по многим поводам: 15 лет с запуска первых сервисов, а сам re:Invent проходит уже 10-й раз! Второй день обучающей конференции подошел к концу, и в этой статье мы собрали самое важное за прошедшие дни.

По традиции лучшие solution архитекторы Amazon Web Services будут обсуждать все значимые анонсы re:Invent на русском языке в режиме лайф twitch на своем youtube канале. Регистрируйтесь, подключайтесь и задавайте ваши вопросы!

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 1.6K
Комментарии 0

AWS ECS scheduled task using terraform

Amazon Web Services *Облачные сервисы
Из песочницы

Всем привет.

Не так давно AWS добавил новую возможность запускать scheduled task, что как по мне, является весьма удобной фичей для некоторых выполнения некоторых задач. К сожаления, пока (надеюсь только пока) HashiCorp не добавила возможность управлять ними как ресурсом в terraform. Но есть способ как обойти эту (надеюсь) временную неприятность набором доступных в AWS сервисов и дальше я расскажу как это сделал я.

aws ecs scheduled task using terraform
Всего голосов 1: ↑1 и ↓0 +1
Просмотры 782
Комментарии 0

Настройка AWS SSO с AWS Client VPN

Системное администрирование *Amazon Web Services *DevOps *Облачные сервисы
Перевод
Tutorial

В этом туториале я описываю простую и безопасную настройку мультиаккаунтной инфраструктуры основанной на AWS, включая SSO и решение для VPN от Amazon.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 2.2K
Комментарии 4

Как получить сертификат AWS Cloud Practitioner в 2021?

Amazon Web Services *
Из песочницы

Летом мне на глаза попалось руководство по подготовке к экзамену AWS Cloud Practitioner. У меня уже был опыт практической работы с облаком Амазона, но хотелось получше разобраться с новыми технологиями. В июле все сошлось - появилось свободное время и желание расширить знания, а в качестве бонуса получить сертификат.

Перед началом обучения я полагал, что знания у меня уже есть, но их нужно немного освежить. После этого получить начальный сертификат AWS Cloud Practitioner не составит труда. По заверениями Амазон для получения начального сертификата нужно 6 месяцев работы с облаком. По заверениям некоторых блогеров достаточно одного месяца.

Обучаться я начал в лоб — открыл руководство и начал читать, переходя от одной главы к другой. На прочтение одной главы уходил примерно час. В день я читал одну, иногда две главы. После каждой главы нужно было сдать мини-тест из 20 вопросов. На это уходило еще полчаса. Итого 1,5 часа * 12 глав = 12 дней. С этим я успешно справился. Мини-тесты проходил на бумаге, смотрел ответы, анализировал ошибки, снова читал.

В руководстве был спрятан бонус, который я не заметил в начале чтения. Можно зарегистрироваться на сайте и отвечать на вопросы тестов онлайн. Это удобно — вопросы можно перемешивать, проходить тесты несколько раз, видеть аналитику и даже корректировать вопросы, если вдруг нашел ошибку. 

Через полторы недели чередования чтения с тестированием я решил, что подготовка прошла успешна. Пришло время сдавать экзамен, но для этого нужно было на него зарегистрироваться. Процесс оказался несложным. Аккаунт AWS у меня уже был, зайдя на aws.training в личный профиль, выбрал центр тестирования и назначил время экзамена.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 4.2K
Комментарии 4

Amazon не хочет вступать в альянс хостеров — и получает сверхприбыли от AWS

Блог компании FirstVDS Хостинг Amazon Web Services *Google Cloud Platform *Облачные сервисы

В культовой песне Eagles «Отель Калифорния» (1976) есть такие слова:
We are programmed to receive
You can check out any time you like
But you can never leave!
Ситуация с Amazon — наглядный пример, как работает эффект отеля «Калифорния». Бизнес приходит на AWS, потом теоретически может уйти в любое время, но в реальности никогда не уходит!

Бизнес AWS похож на монополию, когда один игрок злоупотребляет доминирующим положением на рынке. Но здесь нет явного нарушения антимонопольного законодательства. Просто на инфраструктуру AWS завязан не только отдельный клиент, но и смежные бизнесы, все работают на общей платформе. Если вы хотите наладить техническое взаимодействие с компанией, которая хостится на AWS, то вам удобнее тоже стать клиентом AWS.
Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 5.4K
Комментарии 29

Вклад авторов