FinOps, сокращение от "Financial Operations", - это система управления операционными расходами (OpEx) в облачной среде. Она призвана помочь компаниям получить максимальную отдачу от каждого доллара, потраченного на облачные технологии. Этот подход представляет собой сочетание систем, передовых практик и культуры, которые обеспечивают финансовую ответственность в модели облачных вычислений с переменными расходами.
Администрирование
Microsoft собирается выпустить конкурента Chrome OS. Что это будет за система?
Похоже на то, что облачных операционных систем, которые практически нельзя использовать без подключения к сети, вскоре станет больше. Стало известно о том, что корпорация Microsoft готовит специальную версию Windows 12. Она будет базироваться на браузере Edge, который, в свою очередь, базируется на движке Chromium. Насколько можно судить, эта ОС будет нацелена на образовательные учреждения.
К2 Кибербезопасность выходит на рынок коммерческих SOC в партнерстве с «Лабораторией Касперского»
К2 Кибербезопасность запускает Центр мониторинга информационной безопасности (Security Operations Center, SOC). Он объединит экспертизу К2 Кибербезопасность в области защиты информации и передовые технологии “Лаборатории Касперского”. Используя платформу Kaspersky Unified Monitoring and Analysis Platform (KUMA), построенную на микросервисной архитектуре, специалисты SOC К2 Кибербезопасность смогут в режиме реального времени отслеживать, анализировать и информировать клиента об атаках как извне, так и изнутри инфраструктуры.
Поиск внеземных цивилизаций с помощью спутниковой тарелки
Спутниковые антенны с конвертерами Ку-диапазона совместно с приемниками RTL-SDR, иначе называемыми Dongle, можно использовать для различных занимательных экспериментов. В том числе приема на компьютер сигналов спутникового телевидения, маяков и параметрической информации со спутников Starlink и даже для поиска внеземных цивилизаций.
Для этого, кроме компьютера, тарелки, конвертера и приемника RTL-SDR, понадобится кабель, несколько F-разъемов, блок питания на 12 вольт и переходник для питания конвертера Bias-T. Последний можно сделать самому из дросселя и конденсатора. В дальнейшем можно будет добавить тональный генератор на 22 кгц для включения второго гетеродина верхней части поддиапазона и блок питания на два напряжения 12 и 18 вольт для приема сигналов с разной поляризацией.
Истории
Извлечение текста из файлов PDF при помощи Python
▍ Введение
В эпоху больших языковых моделей (Large Language Model, LLM) и постоянно расширяющейся сферы их применений непрерывно растёт и важность текстовых данных.
Существует множество типов документов, содержащих подобные виды неструктурированной информации, от веб-статей и постов в блогах до рукописных писем и стихов. Однако существенная часть этих данных хранится и передаётся в формате PDF. В частности, выяснилось, что за каждый год в Outlook открывают более двух миллиардов PDF, а в Google Drive и электронной почте ежедневно сохраняют 73 миллионов новых файлов PDF (2).
Поэтому разработка более систематического способа обработки этих документов и извлечения из них информации позволит нам автоматизировать процесс и лучше понять этот обширный объём текстовых данных. И в выполнении этой задачи, разумеется, нашим лучшим другом будет Python.
Как мы внедряли Sentry. Часть 1 — установка и настройка
Привет! Я Виталий, DevOps в LEADS.STUDIO, в этой статье хочу рассказать как мы внедряли Sentry self-hosted
и приводили к продакшен состоянию, которое должно отвечать требованиям высокодоступности - нельзя терять события ошибок. При этом не хотелось заморачиваться с кластеризацией для разных инструментов (вроде redis, postgresql, clickhouse, kafka и прочее). И тут мы вспомнили про распределенную сеть доставки логов из нескольких узлов td-agent
и решили попробовать.
Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности
По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой, но теперь стали основой многих операций машинного обучения.
В данной статье мы рассмотрим значение вычислений на GPU в сфере машинного обучения, ключевую роль ИИ в современном бизнесе и проблемы, с которыми сталкиваются компании при обеспечении эффективности вычислительных ресурсов.
Подписываем образы контейнеров с помощью cosign, garantir и skopeo
Открытые контейнерные платформы, такие как OpenShift, стали неотъемлемой частью современной разработки и управления приложениями. Они обеспечивают удобство и надежность развертывания приложений в контейнерах, обеспечивая изоляцию, масштабируемость и управление ресурсами. Однако, для того чтобы максимально использовать преимущества контейнеризации, необходимо правильно настроить образы контейнеров.
В данной статье мы погрузимся в мир контейнеризации и OpenShift и углубимся в процесс создания и подписывания образов для контейнеров. Рассмотрим, почему безопасность и целостность образов играют важную роль в современных разработках и какие инструменты предоставляет OpenShift для обеспечения этой безопасности. Также разберем шаги по созданию, настройке и подписыванию образов, чтобы вы могли быть уверены в их надежности и готовности к развертыванию в вашем кластере OpenShift. Давайте начнем с основ и перейдем к более глубоким аспектам создания образов для контейнеров в OpenShift.
Создание почтовых правил в Carbonio
Почтовые правила при грамотном использовании могут значительно повысить эффективность работы сотрудника. Возможность автоматической сортировки писем по различным почтовым папкам позволяет отделять действительно важные письма от тех, что могут быть прочитаны позднее или которые можно вовсе не читать. В этой статье мы расскажем о том, как пользователи Carbonio могут добавлять почтовые правила для сортировки электронных писем и управлять ими.
«Порядок в зоопарке»: кому и зачем нужен зонтичный ИТ-мониторинг и как начать им пользоваться?
«Ну вот и дожили до системы мониторинга систем мониторинга», «А потом ещё обязательно нужно настроить мониторинг системы мониторинга, объединяющую мониторинги» – иронизируют пользователи в одном Telegram-канале о системном администрировании.
Шутки в сторону – в этой статье ищем ответы на вопросы, зачем нужен зонтичный ИТ-мониторинг и как в нём действительно всё работает.
Неограниченный доступ к знаниям: библиотека Стандартных Шаблонных Конструкций
Есть много причин почему доступ научным статьям и книгам должен быть свободным:
Во-первых, это прекрасно
10 лет Docker: от революционной идеи до современной практики
Привет, Хабр! На момент написания статьи, я занимаюсь надежностью (SRE) в компании Workday, еще помогаю студентам в Практикуме осваивать курс по DevOps-практикам.
В этой статье я поделюсь кратким обзором истории Docker, его ключевыми концепциями и мисконцепциями. Надеюсь, это будет полезно для новичков и студентов, изучающих DevOps-практики и виртуализацию.
DevSecOps — Развеивание тайн — Часть 3
В современном быстро меняющемся цифровом ландшафте безопасность - это проблема, которую никогда не следует упускать из виду. DevSecOps, что означает "разработка", "безопасность" и "операции", - это философия, интегрирующая безопасность в конвейер DevOps. Благодаря такому подходу безопасность становится не "послесловием", а неотъемлемой частью жизненного цикла разработки программного обеспечения.
Ближайшие события
Протоколы семейства TCP/IP. Теория и практика
В сети можно найти огромное количество материала о том, как функционируют сети на базе стека протоколов TCP/IP, а также как писать компьютерные программы с сетевыми возможностями. При рассмотрении компьютерных сетей часто углубляются в описание физических основ и структур данных, передаваемых по сети, а при рассмотрении сетевого программирования основное внимание уделяют интернет-сокетам.
Но при изучении и исследовании хочется большего, например, поэкспериментировать с пакетами сетевых протоколов. Многие сетевые протоколы реализованы в ядре операционной системы, и что-либо изменить может оказаться сложной задачей, так как это требует навыков в написании драйверов для операционной системы. Но использование специализированных библиотек позволяет работать с протоколами на низком уровне из пространства пользователя.
В ходе работы над статьёй я написал небольшое приложение, которое послужит отправной точкой для понимания компьютерных сетей и семейства протоколов TCP/IP. С приложением можно экспериментировать, получая дополнительные знания.
Приложение — простое и понятное и, надеюсь, упростит изучение материалов статьи. Ведь именно радость первой победы даёт мотивацию, достаточную для того, чтобы потратить гораздо больше времени на изучение темы.
В статье изложены наиболее важные с моей точки зрения понятия, которые должен знать любой программист, хоть как-то сталкивающийся с компьютерными сетями. Так что без теоретических сведений не обошлось.
Управляем обновлением AWS Autoscaling Group: гармония Terraform и Ansible
В мире DevOps, где автоматизация играет ключевую роль, управление ресурсами и процессами обновления инфраструктуры в облаке является критически важной задачей. Во многих современных проектах, особенно тех, что развертываются в облачной среде AWS, используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.
Представьте себе: вы работаете в компании, развертывающей свои приложения на ресурсах Amazon. Ваши приложения важны, поскольку они обслуживают тысячи пользователей ежедневно. Для этого часто используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.
И чтобы ускорить процесс развертывания и упростить управление конфигурацией, вы используете предварительно подготовленные AMI образы. Эти образы создаются с помощью инструментов типа HashiCorp Packer (или других аналогичных) и содержат все необходимое для того, чтобы ваше приложение стартовало быстро и без сбоев. Для разворачивания самой инфраструктуры вы используете Terraform, который стал стандартом de facto во многих крупных компаниях, управляющих облачными ресурсами и использующими подход IaC (Infrastructure as Code).
К сожалению, ресурсы Terraform (например тот же aws_autoscaling_group) не позволяют отслеживать прогресс и успешность выполнения операции обновления ASG в рамках instance refresh, а могут лишь запустить его. Если какие-то другие части инфраструктуры (например, обновления сертификатов или dns-записей) каким-то образом зависят от состояния и версии запущенных инстансов, то желательно проконтролировать завершение процесса обновления для получения корректного состояния инфраструктуры после завершения работы terraform.
Чтобы решить данную проблему, вводим в игру Ansible...
Как в США борются за общественный широкополосный интернет с телеком-монополистами — обсуждаем ситуацию
По определению Федеральной комиссии по связи, соединение считают широкополосным от 25 Мбит/с с апстримом от 3 Мбит/с. Стандарт ввели в 2015-м, а в прошлом году попытались повысить планку до 100 и 20 Мбит/с.
Однако инициатива так и осталась на словах — не все провайдеры способны предоставить такие возможности. И если обновить стандарты, широкополосный интернет будет только у 29% американцев, а не у 97%, как сейчас.
Проектирование отказоустойчивости IT-систем
❓Как проектировать системы, которые будут толерантными для различного вида отказов и ошибок?
Что такое отказоустойчивость и стабильность?
Под отказоустойчивостью будем понимать свойство системы, которое позволяет максимально сохранять работоспособность при отказе отдельных конкретных компонентов системы либо связанных систем и восстанавливать работоспособность системы при восстановлении отказавших компонентов или связанных систем. Давайте рассмотрим подробнее эти 2 момента:
1. Деградация работоспособности системы должна быть прямо пропорциональна "величине" отказа. То есть, если упал сервис, отвечающий за некую некритичную функциональность — вся система не должна при этом падать. Да, небольшой кусочек не работает, но это не влияет на стабильность остальной части функционала.
2. Стабильность системы предполагает самостоятельного восстановления работоспособности после сбоя как компонентов системы, так и всей системы в целом. К примеру, если пропадала сеть на некоторое время — то у стабильных систем после восстановления подключения все компоненты продолжат работать и данные вернутся в консистентное состояние без ручного вмешательства со стороны команды эксплуатации.
От Kubernetes в мечтах к Kubernetes в проде. Часть 3. Доставка кода, GitOps, ArgoCD
В серии статей по теме DevOps мы вместе с Lead DevOps инженером департамента информационных систем ИТМО Михаилом Рыбкиным рассказываем о проверенных инструментах выстраивания инфраструктуры, которыми с недавнего времени пользуемся сами. В предыдущих статьях мы уже рассмотрели предпосылки перехода на новую инфраструктуру и познакомились с азами Kubernetes, теперь пора перейти к следующему шагу – доставке кода. В рамках этой статьи мы подробно рассмотрим методологию GitOps и ее реализацию на примере ArgoCD.
Data-рынок: как российские ЦОДы справляются с нарастающим спросом
Традиционно рынок серверов, систем хранения данных и сетевого оборудования в России был представлен зарубежными компаниями — Dell, HP, Cisco и другими. В 2022-2023 гг data-центры взяли активный курс на импортозамещение при поддержке государства и отечественных поставщиков, поэтому приходится менять устоявшиеся годами бизнес-цепочки. При этом цифровизация требует все новых и новых ресурсов. Сегодня мы заглянем на рынок ЦОДов и постараемся понять, какие у него перспективы, и как российские data-центры справляются с огромным спросом.
Как оценивать технический риск ИБ при разработке приложений
Всем привет! С вами снова Антон Башарин, технический директор Swordfish Security. В предыдущих статьях мы рассказывали об обработке обнаруженных при сканировании уязвимостей – о дедубликации, автоматических правилах, приоритизации и других функциях инструмента класса ASOC, которые позволяют облегчить работу инженеру ИБ. А также о Shift-Left подходе к безопасности в разработке приложений. Сегодня мы хотим затронуть не менее важную тему в управлении ИБ. Поговорим об отслеживании технического риска информационной безопасности и его оценке для портфеля приложений. В этом мне поможет наш аналитик данных, Анастасия Арсеньева. В статье расскажем о различных метриках для оценки риска, об их сходствах и различиях, — и покажем это на дашборде, разработанном нами для модуля визуализации метрик DevSecOps в рамках развития платформы AppSec.Hub.