Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга

Как внести Хаос в свой кластер k8s, и почему гении властвуют над Хаосом?

Блог компании Nixys Информационная безопасность *DevOps *Kubernetes *

Кто-нибудь из вас когда-нибудь слышал о теории “Чёрный лебедь”? Если говорить вкратце, то данная теория рассматривает труднопрогнозируемые события, которые несут за собой огромные последствия для всей системы. К примеру, ваш кластер k8s располагается в ДЦ в конкретно взятом регионе. Всё было прекрасно, но с берега пришло цунами и его затопило, вследствие чего все сервера стали недоступны и ваше приложение не работает. Так кто же в этом будет виноват? Карма? Подводные землетрясения? Ответ прост - вы сами.

Читать далее
Рейтинг 0
Просмотры 121
Комментарии 0

Новости

ТОП-25 бесплатных курсов системного администратора 2022 года

Блог компании Каталог-курсов.ру Учебный процесс в IT Системное администрирование *Информационная безопасность *

Подготовили для вас подборку бесплатных курсов и тренажеров обучения системного администратора.

Также на нашем сайте есть раздел со всеми платными курсами системного администратора и отзывами о них — https://katalog-kursov.ru/courses/sistemnaoe_administrirovanie/

Для начинающих, не надо проходить сразу все курсы) Выберете внимательно какой вам больше подходит и начните его проходить.

Читать далее
Всего голосов 7: ↑5 и ↓2 +3
Просмотры 607
Комментарии 0

Особенности построения хранилища данных на базе ClickHouse в Yandex Cloud

Блог компании Neoflex Анализ и проектирование систем *Big Data *Хранилища данных *Облачные сервисы *

В данной статье делимся опытом внедрения решения на базе СУБД ClickHouse и сервисов Yandex Cloud. Мы не коснёмся тонких настроек ClickHouse или его масштабирования, но затронем достаточно интересные на наш взгляд темы:

• как загружать данные из On-premise в облачный ClickHouse с использованием сервисов Yandex Cloud – Functions, Object Storage, Message Queue;

• как обрабатывать/преобразовывать данные в облачном ClickHouse – очищать и строить витрины; какие «подводные камни» нам встретились на этом пути.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Просмотры 769
Комментарии 3

Блокчейн мало где применим

Децентрализованные сети *Информационная безопасность *Криптография *Финансы в IT Криптовалюты
Перевод

Любители криптовалют часто говорят, что «реальная инновация — это не биткойн, а блокчейн». Популярность блокчейнов постоянно растёт. В какой-то момент используемые блокчейны перестали называть просто «технологией блокчейна», они превратились в «web3». Подразумевается, что блокчейны имеют столь широкую сферу применений, что они заменят современный веб в том виде, в котором мы его знаем.

Однако блокчейны — это не технология общего назначения: они имеют очень ограниченные и специфические способы применения. И использование их в децентрализованных валютах не первый пример из множества, он вполне может оказаться и одним из немногих.
Читать дальше →
Всего голосов 23: ↑21 и ↓2 +19
Просмотры 2.7K
Комментарии 16

Экономим на Azure SQL Databases

.NET *SQL *IT-инфраструктура *Microsoft Azure *DevOps *

Всем привет! В данной статье я расскажу о том, как наша компания смогла сэкономить за счет внедрения Azure SQL Elastic Pool. Дополнительно будут примеры Azure REST API для энумерации SQL Servers, для энумерации SQL databases и для получения метрик.

Самые пытливые в конце статьи узнают сэкономленную величину. Здесь исходники

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 492
Комментарии 0

Миграция приложения из Docker Compose в Kubernetes. Как, зачем и с какими проблемами я столкнулся

Системы сборки *DevOps *Облачные сервисы *Kubernetes *
Из песочницы

Зачастую, приложение, у которого происходит существенный рост пользователей оказывается не готово к этому. Требования к быстродействию и доступности растут, а инфраструктура и архитектура приложения не позволяют их обеспечить.

Стоявшая передо мной задача: улучшить инфраструктуру и качество работы приложения, успевшего вырасти из MVP и стенда для одного клиента в популярный SaaS. Отсутствие отказоустойчивости и масштабируемости компонентов сервиса начало ощутимо мешать пользователям. Настала пора адаптировать приложение под кластерный режим.

Приложение работало в контейнерах, а оркестрация осуществлялась с помощью Docker Compose. Компоненты приложения не задумывались готовыми к запуску в кластерном режиме, что, разумеется, нормальная ситуация для раннего этапа многих проектов: бизнес требует быстрой доставки новых функций, и на преждевременную оптимизацию не всегда можно и нужно тратить время. Но в какой-то момент именно стабильность и быстродействие становятся самыми важными функциями. 

Каково мигрировать приложение с уже сформированным техническим стеком и базой пользователей? Какие есть варианты решения, подводные камни? Как оценить есть ли смысл в таких трудозатратах? В этой статье я поделюсь своим опытом переноса приложения из Docker Compose в Kubernetes.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 1.5K
Комментарии 0

Размер имеет значение! Часть 1

Git *Оболочки *Разработка под Android *Системы сборки *DevOps *
Из песочницы

Как бы мы себя не обманывали - Размер имеет значение! И конечно, мы будем говорить о размере нашего андроид приложения, куда мы добавляем кучу классных features, и даже не задумываемся как это может негативно повлиять на размер приложения. Поэтому мы научимся обнаруживать регрессию размера нашего приложения на CI для автоматизации этого процесса. В данной части, обсудим как можно легко проверять размер в development ветке.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 1.7K
Комментарии 5

Создаем личное файловое облако легко и просто (и дешево)

Хостинг Настройка Linux *Системное администрирование *Облачные сервисы *
Tutorial

А сегодня мы с вами быстро и решительно легко и просто поднимем свое личное файловое облако типа Google Drive или Яндекс.Диск, а если повезет, то еще и очень дешево.

Зачем? Ну, например, потому что не хотим зависеть от корпораций с их кабальными лицензионными соглашениями и сменой условий задним числом. Или потому что нам хочется приватности. Или просто потому что можем. А бонусом на нашем сервере вы потом сможете еще установить VPN или прокси для доступа к запрещенным сайтам, или поднять простенький веб-сайтик.

Я специально будут рассказывать все максимально подробно и пошагово, чтобы даже люди без большого опыта системного администрирования смогли все повторить. В наше время, благодаря развитому инструментарию, такому как docker и snap, установить и настроить все что нужно можно очень быстро всего лишь несколькими командами.

Читать далее
Всего голосов 54: ↑50 и ↓4 +46
Просмотры 11K
Комментарии 93

ВКС-дайджест: уход Avaya, транскрипция с русского, бесплатная версия Teams для переговорных

Разработка под iOS *IT-инфраструктура *Конференции Видеотехника Видеоконференцсвязь

Продолжаем выборочно публиковать новости из нашего телеграм-канала

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 1K
Комментарии 1

Nmap — голливудская звезда

Блог компании Cloud4Y Информационная безопасность *IT-инфраструктура *Киберпанк Софт
Перевод

По неизвестным причинам Голливуд считает Nmap главным инструментом хакеров и пихает его во все фильмы со сценами взлома. Впрочем, это куда реалистичнее дурацкой 3D-анимации, которая использовалась в таких картинах, как «Взлом» Гибсона, «Хакерах», или совсем ужасного варианта из «Пароль “Рыба-меч”». Держите подборку фильмов, где хакеры ломают всё, что можно, с помощью Nmap

Читать далее
Всего голосов 30: ↑29 и ↓1 +28
Просмотры 8.9K
Комментарии 21

Голос в мобильных сетях. От чего зависит качество?

Блог компании МегаФон Разработка систем связи *Стандарты связи *Сотовая связь

Привет, Habr!

На связи МегаФон и в данной статье мы подробно расскажем всё про передачу голоса в мобильных сетях.

Что определяет качество речи?
Какие речевые кодеки используются в мобильных сетях и их отличия?
Как оператор измеряет и контролирует качество речи в мобильных сетях?
Какие речевые технологии появятся в сетях 5G?

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 1.9K
Комментарии 9

Обзор серверов Gooxi SL101. Опыт установки и первые впечатления

Блог компании Serverspace IT-инфраструктура *Облачные вычисления *Сетевые технологии *Серверное администрирование *
Из песочницы

Наш системный инженер Владимир Емельянов и его коллега – ведущий инженер по виртуализации рассказали мне о серверах Gooxi и поделились первыми впечатлениями. В статье рассказываю, как у них прошел процесс монтирования, какие были сложности с подключением комплектующих и настройкой систем мониторинга, и что там с совместимостью с VMware.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 2.2K
Комментарии 2

Как поменяется профессия ИТ-инженера сейчас, и почему быть адским занудой теперь — важный софт-скилл

Блог компании Инфосистемы Джет IT-инфраструктура *Карьера в IT-индустрии

Привет, Хабр!

Я системный архитектор и ситуацию в ИТ в нашей стране сейчас могу образно описать как «цирк с велосипедами» и «зоопарк приехал». С велосипедами — потому что, например, по части ИТ-инфраструктуры теперь нам на ровном месте приходится изобретать то, что ещё несколько месяцев назад хорошо и надёжно закрывалось одним решением западного вендора. А зоопарк — это конструкторы из нескольких опенсорс-решений, каждое из которых выполняет свою функцию, но изначально не связанных между собой. Ладно, будем честными, — зоопарк из Open Source ещё не захватил ИТ-инфраструктуры крупных компаний, но уже слышны звуки его приближения.

Итак, ИТ-ландшафт российских компаний начинает меняться.

Соответственно, от ИТ-инженера сейчас будет требоваться иное, чем годом ранее. Например, одно из самых ярких грядущих изменений — больше нельзя просто делать так, как просит бизнес. Теперь нужно лезть в саму задачу, критически переосмысливать требования, потому что они не всегда обоснованы реальными потребностями и могут быть нереализуемыми на отечественных и Open Source решениях. И потом долго и упорно объяснять заказчику, почему всё будет сделано по-другому, а не так, как он привык, и доказывать, что так тоже можно, а в нашей ситуации и нужно. Думаю, первый год такой подход точно будет восприниматься как посягательство на святое. Отсюда и тезис про адское занудство.

Читать далее
Всего голосов 35: ↑33 и ↓2 +31
Просмотры 5.5K
Комментарии 23

Самая большая BERT-подобная модель на русском, которая поместится на ваш компьютер

Блог компании Яндекс Open source *Машинное обучение *Распределённые системы *Искусственный интеллект
Привет, это снова Максим Рябинин, исследователь в Yandex Research. В прошлом году я рассказывал на Хабре о том, как вместе с Hugging Face, Университетом Торонто и волонтёрами мы обучили state-of-the-art модель для бенгальского языка и написали об этом статью на конференцию NeurIPS. Теперь хотим поделиться новым результатом: оказывается, технологии для обучения на нестабильном железе находят приложение и внутри привычных всем кластеров.

Используя вычислительную платформу Яндекса, мы обучили RuLeanALBERT — нейросеть, показывающую сравнимые с другими открытыми моделями и где-то даже близкие к state-of-the-art результаты на бенчмарках по пониманию русского языка — Russian SuperGLUE и RuCoLA. Наша модель хотя и имеет миллиарды параметров, но вполне способна вместиться в одну домашнюю GPU: вы можете использовать её в своих проектах для классификации предложений, представления текстов и других языковых задач, не требующих генерации. В статье можно прочитать о подробностях обучения, которые мы реализовали в открытом коде, а чекпоинт теперь тоже доступен всем желающим.


Примерно так выглядит процесс обучения на множестве независимых серверов
Читать дальше →
Всего голосов 38: ↑38 и ↓0 +38
Просмотры 4.7K
Комментарии 5

Как интеллектуальная система поиска локаций помогает Fix Price открывать в среднем по 2 новых магазина ежедневно

Блог компании Fix Price IT-инфраструктура *

Привет, Хабр! Меня зовут Вадим Райский, и я работаю руководителем IT-проектов для департамента управления магазинами Fix Price. Каждый год мы открываем около 700-750 торговых точек в России и за рубежом – примерно по две каждый день. Алгоритмы и большое количество данных позволяют с высокой степенью вероятности прогнозировать прибыльность каждой открытой локации.

Сегодня я расскажу о том, как мы перешли от «аналогового» способа сбора данных о локациях к цифровому и выстроили интеллектуальную систему поддержки новых торговых точек.

Как все начиналось

Давайте перенесемся в 2015 год и представим, что перед нами стоит задача открыть новый магазин. У менеджера по недвижимости заранее начинала болеть голова. Ему предстояло собрать и систематизировать данные о нужных локациях, накопленные за много лет в различных форматах – от Excel до рабочей почты. На поиски нужной информации могли уходить часы.

Объем обрабатываемых данных легко понять, если представить себе, сколько информации собирается для принятия решения об открытии новой точки. Агрегируется информация по всем городам России, улица за улицей, ведется учет каждой вакантной коммерческой площади, собирается информация о ее технических характеристиках, потенциале трафика и других параметрах. На эти базовые данные затем нанизывается информация о ставках аренды и результатах переговоров с отдельным арендодателем.

Читать далее
Всего голосов 11: ↑9 и ↓2 +7
Просмотры 1.5K
Комментарии 6

Домашний дата-центр: ошибки, результаты и советы

Блог компании Selectel Сетевые технологии *Серверное администрирование *Сетевое оборудование DIY или Сделай сам

Привет, Хабр! Меня зовут Ярослав, я стажер инженерно-технического отдела в Selectel. И несколько лет назад у меня была мечта — сделать домашний дата-центр. Я ее исполнил и хочу предупредить: не повторяйте моих ошибок, сохраните психику.

В статье делюсь опытом проектирования и сборки домашнего дата-центра. А также рассказываю, как случайно не сжечь серверный шкаф и за что провайдеры могут подать в суд. Подробности под катом.
Читать дальше →
Всего голосов 64: ↑62 и ↓2 +60
Просмотры 14K
Комментарии 101

Все внедрили DevOps? Не забудьте про Shift Left Security

Блог компании Ak Bars Digital DevOps *

Про Shift Left вы наверняка знаете — в контексте DevOps или QA об этом часто пишут. А что за зверь такой — Shift Left Security (SLS)? Вроде новый термин, свежий, «хайповый»? Отнюдь, концепция смещения влево процессов безопасности появилась вместе с DevOps. И они друг от друга неотделимы. Процессы идут в контексте исторического развития, а подтверждение этому — отчеты и документация, например, GitLab. Попробую доказать это утверждение. 

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 1.3K
Комментарии 1

5 типичных ошибок при использовании Apache Kafka

Блог компании Southbridge Системное администрирование *Apache *DevOps *

Даже если у вас большой опыт работы с Apache Kafka, время от времени наверняка случается зайти в тупик. Например, когда вы конфигурируете и изучаете клиенты или настраиваете и отслеживаете брокеры. Попробуй за всем уследить, когда в конвейере Kafka столько компонентов. В этой статье описано пять частых ошибок и советы по тому, как их избежать на всех этапах — от конфигурирования клиентов и брокеров до планирования  и мониторинга. Эти рекомендации сэкономят вам время и силы.

Читать далее
Всего голосов 30: ↑29 и ↓1 +28
Просмотры 3K
Комментарии 0

Обзор UI-инструментов для мониторинга и управления кластерами Apache Kafka

Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *
Перевод

Прим. перев.: автор этого материала — Герман Осин, старший архитектор решений в Provectus. Осин сравнивает функциональность восьми UI-инструментов, которые помогают решить проблемы наблюдаемости и мониторинга Apache Kafka. Стоит отметить, что обзор скорее вводный. Он будет полезен для первоначального знакомства с возможностями решений.

Apache Kafka — незаменимый инструмент для обработки данных в реальном времени и отслеживания активности приложений. К сожалению, мониторинг кластеров Apache Kafka и управление ими — непростая задача. Решить ее помогают сторонние коммерческие или Open Source-инструменты с графическим интерфейсом и дополнительными функциями в области администрирования и мониторинга.

В статье представлен краткий обзор таких инструментов.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Просмотры 1.3K
Комментарии 6

На востоке растут облака: новосибирский дата-центр «Ростелеком-ЦОД» сегодня

Блог компании DataLine IT-инфраструктура *Хранение данных *Хранилища данных *Инженерные системы *

Нашему ЦОДу в Новосибирске исполнилось полтора года. За это время в дата-центре выросла зона доступности облака DataLine для заказчиков из Сибири и Дальнего Востока, а также появились новые услуги. Сейчас в новосибирском облаке размещаются почтовые сервисы, облачные диски клиентов, объектные хранилища, сервисы DBaaS, Kubernetes, сервисы ИБ, DR-площадки и резервные копии. 

В фоторепортаже из Новосибирска посмотрим, как работает дата-центр сегодня.

Погулять по ЦОДу
Всего голосов 13: ↑12 и ↓1 +11
Просмотры 1.2K
Комментарии 12