Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

FinOps — Развеивание тайн — Часть 4

Уровень сложности Простой
Время на прочтение 12 мин
Количество просмотров 74
Мнение
Перевод

FinOps, сокращение от "Financial Operations", - это система управления операционными расходами (OpEx) в облачной среде. Она призвана помочь компаниям получить максимальную отдачу от каждого доллара, потраченного на облачные технологии. Этот подход представляет собой сочетание систем, передовых практик и культуры, которые обеспечивают финансовую ответственность в модели облачных вычислений с переменными расходами.

Читать далее
Всего голосов 2: ↑0 и ↓2 -2
Комментарии 0

Новости

Microsoft собирается выпустить конкурента Chrome OS. Что это будет за система?

Время на прочтение 3 мин
Количество просмотров 759

Похоже на то, что облачных операционных систем, которые практически нельзя использовать без подключения к сети, вскоре станет больше. Стало известно о том, что корпорация Microsoft готовит специальную версию Windows 12. Она будет базироваться на браузере Edge, который, в свою очередь, базируется на движке Chromium. Насколько можно судить, эта ОС будет нацелена на образовательные учреждения.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 4

К2 Кибербезопасность выходит на рынок коммерческих SOC в партнерстве с «Лабораторией Касперского»

Время на прочтение 3 мин
Количество просмотров 252

К2 Кибербезопасность запускает Центр мониторинга информационной безопасности (Security Operations Center, SOC).  Он объединит экспертизу К2 Кибербезопасность в области защиты информации и передовые технологии “Лаборатории Касперского”. Используя платформу Kaspersky Unified Monitoring and Analysis Platform (KUMA), построенную на микросервисной архитектуре, специалисты SOC К2 Кибербезопасность смогут в режиме реального времени отслеживать, анализировать и информировать клиента об атаках как извне, так и изнутри инфраструктуры.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Поиск внеземных цивилизаций с помощью спутниковой тарелки

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1K

Спутниковые антенны с конвертерами Ку-диапазона совместно с приемниками RTL-SDR, иначе называемыми Dongle, можно использовать для различных занимательных экспериментов. В том числе приема на компьютер сигналов спутникового телевидения, маяков и параметрической информации со спутников Starlink и даже для поиска внеземных цивилизаций.

Для этого, кроме компьютера, тарелки, конвертера и приемника RTL-SDR, понадобится кабель, несколько F-разъемов, блок питания на 12 вольт и переходник для питания конвертера Bias-T. Последний можно сделать самому из дросселя и конденсатора. В дальнейшем можно будет добавить тональный генератор на 22 кгц для включения второго гетеродина верхней части поддиапазона и блок питания на два напряжения 12 и 18 вольт для приема сигналов с разной поляризацией.

Далее
Всего голосов 15: ↑15 и ↓0 +15
Комментарии 0

Истории

Извлечение текста из файлов PDF при помощи Python

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 1.7K
Туториал
Перевод

▍ Введение


В эпоху больших языковых моделей (Large Language Model, LLM) и постоянно расширяющейся сферы их применений непрерывно растёт и важность текстовых данных.

Существует множество типов документов, содержащих подобные виды неструктурированной информации, от веб-статей и постов в блогах до рукописных писем и стихов. Однако существенная часть этих данных хранится и передаётся в формате PDF. В частности, выяснилось, что за каждый год в Outlook открывают более двух миллиардов PDF, а в Google Drive и электронной почте ежедневно сохраняют 73 миллионов новых файлов PDF (2).

Поэтому разработка более систематического способа обработки этих документов и извлечения из них информации позволит нам автоматизировать процесс и лучше понять этот обширный объём текстовых данных. И в выполнении этой задачи, разумеется, нашим лучшим другом будет Python.
Читать дальше →
Всего голосов 19: ↑18 и ↓1 +17
Комментарии 2

Как мы внедряли Sentry. Часть 1 — установка и настройка

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 792

Привет! Я Виталий, DevOps в LEADS.STUDIO, в этой статье хочу рассказать как мы внедряли Sentry self-hosted и приводили к продакшен состоянию, которое должно отвечать требованиям высокодоступности - нельзя терять события ошибок. При этом не хотелось заморачиваться с кластеризацией для разных инструментов (вроде redis, postgresql, clickhouse, kafka и прочее). И тут мы вспомнили про распределенную сеть доставки логов из нескольких узлов td-agent и решили попробовать.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Организация GPU-вычислений для машинного обучения в компании: проблемы и трудности

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 744

По мере того как компании стремятся использовать возможности искусственного интеллекта, резко возрос спрос на специализированные вычислительные ресурсы, в частности, на графические процессоры (GPU). Графические процессоры раньше ассоциировались в основном с играми и графикой, но теперь стали основой многих операций машинного обучения. 

В данной статье мы рассмотрим значение вычислений на GPU в сфере машинного обучения, ключевую роль ИИ в современном бизнесе и проблемы, с которыми сталкиваются компании при обеспечении эффективности вычислительных ресурсов.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 0

Подписываем образы контейнеров с помощью cosign, garantir и skopeo

Время на прочтение 6 мин
Количество просмотров 320

Открытые контейнерные платформы, такие как OpenShift, стали неотъемлемой частью современной разработки и управления приложениями. Они обеспечивают удобство и надежность развертывания приложений в контейнерах, обеспечивая изоляцию, масштабируемость и управление ресурсами. Однако, для того чтобы максимально использовать преимущества контейнеризации, необходимо правильно настроить образы контейнеров.

В данной статье мы погрузимся в мир контейнеризации и OpenShift и углубимся в процесс создания и подписывания образов для контейнеров. Рассмотрим, почему безопасность и целостность образов играют важную роль в современных разработках и какие инструменты предоставляет OpenShift для обеспечения этой безопасности. Также разберем шаги по созданию, настройке и подписыванию образов, чтобы вы могли быть уверены в их надежности и готовности к развертыванию в вашем кластере OpenShift. Давайте начнем с основ и перейдем к более глубоким аспектам создания образов для контейнеров в OpenShift.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0

Создание почтовых правил в Carbonio

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 201
Туториал

Почтовые правила при грамотном использовании могут значительно повысить эффективность работы сотрудника. Возможность автоматической сортировки писем по различным почтовым папкам позволяет отделять действительно важные письма от тех, что могут быть прочитаны позднее или которые можно вовсе не читать. В этой статье мы расскажем о том, как пользователи Carbonio могут добавлять почтовые правила для сортировки электронных писем и управлять ими.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 3

«Порядок в зоопарке»: кому и зачем нужен зонтичный ИТ-мониторинг и как начать им пользоваться?

Время на прочтение 8 мин
Количество просмотров 888
Обзор

«Ну вот и дожили до системы мониторинга систем мониторинга», «А потом ещё обязательно нужно настроить мониторинг системы мониторинга, объединяющую мониторинги» – иронизируют пользователи в одном Telegram-канале о системном администрировании.

Шутки в сторону – в этой статье ищем ответы на вопросы, зачем нужен зонтичный ИТ-мониторинг и как в нём действительно всё работает. 

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 4

Неограниченный доступ к знаниям: библиотека Стандартных Шаблонных Конструкций

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 2.8K
Обзор

Есть много причин почему доступ научным статьям и книгам должен быть свободным:

Во-первых, это прекрасно

Во-вторых...
Всего голосов 26: ↑26 и ↓0 +26
Комментарии 3

10 лет Docker: от революционной идеи до современной практики

Время на прочтение 8 мин
Количество просмотров 7.4K

Привет, Хабр! На момент написания статьи, я занимаюсь надежностью (SRE) в компании Workday, еще помогаю студентам в Практикуме осваивать курс по DevOps-практикам.

В этой статье я поделюсь кратким обзором истории Docker, его ключевыми концепциями и мисконцепциями. Надеюсь, это будет полезно для новичков и студентов, изучающих DevOps-практики и виртуализацию.

Читать далее
Всего голосов 24: ↑22 и ↓2 +20
Комментарии 21

DevSecOps — Развеивание тайн — Часть 3

Уровень сложности Простой
Время на прочтение 16 мин
Количество просмотров 800
Мнение
Перевод

В современном быстро меняющемся цифровом ландшафте безопасность - это проблема, которую никогда не следует упускать из виду. DevSecOps, что означает "разработка", "безопасность" и "операции", - это философия, интегрирующая безопасность в конвейер DevOps. Благодаря такому подходу безопасность становится не "послесловием", а неотъемлемой частью жизненного цикла разработки программного обеспечения.

Читать далее
Всего голосов 6: ↑1 и ↓5 -4
Комментарии 0

Ближайшие события

Битва пет-проектов
Дата 25 сентября – 30 ноября
Место Онлайн
PG Boot Camp Russia 2023
Дата 5 октября
Время 10:00 – 17:00
Место Москва Онлайн
Joker
Дата 9 – 14 октября
Время 16:00 – 19:30
Место Санкт-Петербург Онлайн
Открытый урок «Kafka Streams»
Дата 16 октября
Время 10:00
Место Онлайн
Питч-сессия pravo (tech) impulse
Дата 19 октября
Время 15:45 – 17:30
Место Москва
Russia Risk Conference 2023 — 19-я конференция по риск-менеджменту
Дата 25 – 26 октября
Время 10:00 – 19:00
Место Москва Онлайн
IT Recruiting – HR Forum 2023
Дата 8 – 10 ноября
Время 9:00 – 18:00
Место Москва
Онлайн IT HR-конференция HR42
Дата 17 – 18 ноября
Время 10:00 – 14:00
Место Онлайн
HighLoad++ 2023
Дата 27 – 28 ноября
Время 9:00 – 20:00
Место Москва Онлайн

Протоколы семейства TCP/IP. Теория и практика

Уровень сложности Средний
Время на прочтение 23 мин
Количество просмотров 13K
Туториал
image

В сети можно найти огромное количество материала о том, как функционируют сети на базе стека протоколов TCP/IP, а также как писать компьютерные программы с сетевыми возможностями. При рассмотрении компьютерных сетей часто углубляются в описание физических основ и структур данных, передаваемых по сети, а при рассмотрении сетевого программирования основное внимание уделяют интернет-сокетам.

Но при изучении и исследовании хочется большего, например, поэкспериментировать с пакетами сетевых протоколов. Многие сетевые протоколы реализованы в ядре операционной системы, и что-либо изменить может оказаться сложной задачей, так как это требует навыков в написании драйверов для операционной системы. Но использование специализированных библиотек позволяет работать с протоколами на низком уровне из пространства пользователя.

В ходе работы над статьёй я написал небольшое приложение, которое послужит отправной точкой для понимания компьютерных сетей и семейства протоколов TCP/IP. С приложением можно экспериментировать, получая дополнительные знания.

Приложение — простое и понятное и, надеюсь, упростит изучение материалов статьи. Ведь именно радость первой победы даёт мотивацию, достаточную для того, чтобы потратить гораздо больше времени на изучение темы.

В статье изложены наиболее важные с моей точки зрения понятия, которые должен знать любой программист, хоть как-то сталкивающийся с компьютерными сетями. Так что без теоретических сведений не обошлось.
Читать дальше →
Всего голосов 56: ↑56 и ↓0 +56
Комментарии 0

Управляем обновлением AWS Autoscaling Group: гармония Terraform и Ansible

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 1.1K
Туториал

В мире DevOps, где автоматизация играет ключевую роль, управление ресурсами и процессами обновления инфраструктуры в облаке является критически важной задачей. Во многих современных проектах, особенно тех, что развертываются в облачной среде AWS, используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.

Представьте себе: вы работаете в компании, развертывающей свои приложения на ресурсах Amazon. Ваши приложения важны, поскольку они обслуживают тысячи пользователей ежедневно. Для этого часто используется механизм Auto Scaling Groups (ASG) с целью достижения трех основных задач: балансировки нагрузки, повышения надежности сервиса и оптимизации стоимости эксплуатации.

И чтобы ускорить процесс развертывания и упростить управление конфигурацией, вы используете предварительно подготовленные AMI образы. Эти образы создаются с помощью инструментов типа HashiCorp Packer (или других аналогичных) и содержат все необходимое для того, чтобы ваше приложение стартовало быстро и без сбоев. Для разворачивания самой инфраструктуры вы используете Terraform, который стал стандартом de facto во многих крупных компаниях, управляющих облачными ресурсами и использующими подход IaC (Infrastructure as Code).

К сожалению, ресурсы Terraform (например тот же aws_autoscaling_group) не позволяют отслеживать прогресс и успешность выполнения операции обновления ASG в рамках instance refresh, а могут лишь запустить его. Если какие-то другие части инфраструктуры (например, обновления сертификатов или dns-записей) каким-то образом зависят от состояния и версии запущенных инстансов, то желательно проконтролировать завершение процесса обновления для получения корректного состояния инфраструктуры после завершения работы terraform.

Чтобы решить данную проблему, вводим в игру Ansible...

Ansible...
Рейтинг 0
Комментарии 0

Как в США борются за общественный широкополосный интернет с телеком-монополистами — обсуждаем ситуацию

Время на прочтение 6 мин
Количество просмотров 5.7K
Аналитика

По определению Федеральной комиссии по связи, соединение считают широкополосным от 25 Мбит/с с апстримом от 3 Мбит/с. Стандарт ввели в 2015-м, а в прошлом году попытались повысить планку до 100 и 20 Мбит/с.

Однако инициатива так и осталась на словах — не все провайдеры способны предоставить такие возможности. И если обновить стандарты, широкополосный интернет будет только у 29% американцев, а не у 97%, как сейчас.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 4

Проектирование отказоустойчивости IT-систем

Время на прочтение 11 мин
Количество просмотров 6.9K

❓Как проектировать системы, которые будут толерантными для различного вида отказов и ошибок?

Что такое отказоустойчивость и стабильность?

Под отказоустойчивостью будем понимать свойство системы, которое позволяет максимально сохранять работоспособность при отказе отдельных конкретных компонентов системы либо связанных систем и восстанавливать работоспособность системы при восстановлении отказавших компонентов или связанных систем. Давайте рассмотрим подробнее эти 2 момента:

1. Деградация работоспособности системы должна быть прямо пропорциональна "величине" отказа. То есть, если упал сервис, отвечающий за некую некритичную функциональность — вся система не должна при этом падать. Да, небольшой кусочек не работает, но это не влияет на стабильность остальной части функционала.

2. Стабильность системы предполагает самостоятельного восстановления работоспособности после сбоя как компонентов системы, так и всей системы в целом. К примеру, если пропадала сеть на некоторое время — то у стабильных систем после восстановления подключения все компоненты продолжат работать и данные вернутся в консистентное состояние без ручного вмешательства со стороны команды эксплуатации.

Читать далее
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 15

От Kubernetes в мечтах к Kubernetes в проде. Часть 3. Доставка кода, GitOps, ArgoCD

Время на прочтение 12 мин
Количество просмотров 2.4K

В серии статей по теме DevOps мы вместе с Lead DevOps инженером департамента информационных систем ИТМО Михаилом Рыбкиным рассказываем о проверенных инструментах выстраивания инфраструктуры, которыми с недавнего времени пользуемся сами. В предыдущих статьях мы уже рассмотрели предпосылки перехода на новую инфраструктуру и познакомились с азами Kubernetes, теперь пора перейти к следующему шагу – доставке кода. В рамках этой статьи мы подробно рассмотрим методологию GitOps и ее реализацию на примере ArgoCD.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 1

Data-рынок: как российские ЦОДы справляются с нарастающим спросом

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.4K
Аналитика

Традиционно рынок серверов, систем хранения данных и сетевого оборудования в России был представлен зарубежными компаниями — Dell, HP, Cisco и другими. В 2022-2023 гг data-центры взяли активный курс на импортозамещение при поддержке государства и отечественных поставщиков, поэтому приходится менять устоявшиеся годами бизнес-цепочки. При этом цифровизация требует все новых и новых ресурсов. Сегодня мы заглянем на рынок ЦОДов и постараемся понять, какие у него перспективы, и как российские data-центры справляются с огромным спросом. 

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 2

Как оценивать технический риск ИБ при разработке приложений

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 628
Мнение

Всем привет! С вами снова Антон Башарин, технический директор Swordfish Security. В предыдущих статьях мы рассказывали об обработке обнаруженных при сканировании уязвимостей – о дедубликации, автоматических правилах, приоритизации и других функциях инструмента класса ASOC, которые позволяют облегчить работу инженеру ИБ. А также о Shift-Left подходе к безопасности в разработке приложений. Сегодня мы хотим затронуть не менее важную тему в управлении ИБ. Поговорим об отслеживании технического риска информационной безопасности и его оценке для портфеля приложений. В этом мне поможет наш аналитик данных, Анастасия Арсеньева. В статье расскажем о различных метриках для оценки риска, об их сходствах и различиях, — и покажем это на дашборде, разработанном нами для модуля визуализации метрик DevSecOps в рамках развития платформы AppSec.Hub.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 2