Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Как работают объектные хранилища: OpenStack Swift

Уровень сложности Средний
Время на прочтение 18 мин
Количество просмотров 41
Блог компании Selectel Open source *Распределённые системы *Хранилища данных *
Ретроспектива

Неожиданный мартовский мороз ласкает щеки городских жителей, спешно марширующих вдоль проспектов по направлению к своим рабочим местам. В их головах широким спектром разливается сладкая истома — предвкушение отдыха.

Раз меньше времени работе, то больше — знаниям. Меня зовут Рома, и я работаю в объектном хранилище — самой высоконагруженной услуге Selectel. Здесь мы непрерывно трудимся над улучшением и развитием архитектуры, удовлетворяя спрос на пропускную способность, функциональность и надежность.

В первой части я поделился сложностями, которые возникают при попытке построить распределенное и отказоустойчивое хранилище для объектов. Та система, которую мы позволили себе нафантазировать, очень похожа на OpenStack Swift. С него начиналась история нашего продукта, так что мы можем не только разобрать принцип его работы «на пальцах», но и погрузиться в скрытые особенности OpenSource, которые проявляются лишь в больших масштабах.
Читать дальше →
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Новости

Сказ о том как pet-project превратился в небольшой пассивный доход (часть 2)

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 228
Программирование *DNS *Go *
Кейс

Первая Часть

Предыдущая часть закончилась неудачной балансировкой, которая не решает практически никаких проблем. В комментариях кто-то спросил, почему я не использовал балансировку на уровне DNS. Так вот, я ее использовал. Оказалось, что c помощью DNS записей можно организовать балансировку Round Robin. Для этого в конфигурации Wireguard всего лишь нужно использовать доменное имя вместо IP адреса.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Синий свет — зеленый свет: релизим без даунтаймов

Уровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 311
Блог компании Конференции Олега Бунина (Онтико) Блог компании TINKOFF Разработка веб-сайтов *DevOps *

Привет! Меня зовут Николай Тихонов, я работаю в команде Tinkoff eCommerce. Я начинал как фронтендер, а потом стал писать бэкенд и занялся CI/CD. А дальше — FullStack Ops и руководство процессами и собственной командой. Сегодня расскажу про FrontOps, blue-green и релизы без даунтайма. Эта статья — текстовая адаптация моего доклада для FrontendConf 2022. 

С минимальными знаниями Ops-технологий фронтендер может показывать каждому пользователю, что он сделал, и в одиночку реализовывать крутые продукты. А релизы с даунтаймом все еще существуют и не дают клиентам пользоваться продуктом ночью, поэтому в этой статье поговорим про практику blue-green.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 0

ACI VRF leaking

Время на прочтение 9 мин
Количество просмотров 111
IT-инфраструктура *Cisco *Сетевые технологии *
Перевод

Сегодня я бы хотел поделиться своими наблюдениями о том, как работают inter‑VRF контракты внутри ACI, включая маршрутизацию и реализацию политик. Пристегивайтесь!

Читать далее
Рейтинг 0
Комментарии 0

Истории

Data Mesh: что это такое и для чего он нужен инженерам

Время на прочтение 11 мин
Количество просмотров 493
Блог компании VK Big Data *Хранилища данных *
Перевод


Команда VK Cloud перевела статью о новом подходе к построению архитектуры данных Data Mesh с помощью lakeFS — системы управления версиями данных с открытым исходным кодом, которая преобразует хранилище объектов в Git-подобные репозитории. Разбираем, что такое Data Mesh, суть этого подхода и как с его помощью повысить эффективность работы с данными.
Читать дальше →
Всего голосов 1: ↑0 и ↓1 -1
Комментарии 0

Российский Kubernetes, какой он? Знакомимся с платформой Deckhouse

Время на прочтение 3 мин
Количество просмотров 1.1K
Блог компании КРОК Open source *IT-инфраструктура *Микросервисы *Kubernetes *
Репортаж
Исследование Statista в России показывает, что около 60% компаний применяют технологию оркестрации контейнеров в рамках своей инфраструктуры. При этом самостоятельная разработка на Open Source для решения этой задачи значительно повышает требования к скиллам команды и характеризуется высокой стоимостью. Другой вариант — облачные PaaS-сервисы, но они зачастую имеют ограниченный набор инструментов, а зарубежные платформы ушли с российского рынка.

Есть ли сегодня в России аналоги западным платформам контейнеризации? Мы решили изучить этот вопрос и пригласили директора по развитию Deckhouse компании «Флант» Артёма Кожокина, чтобы подробно расспросить про их платформу оркестрации контейнеров.

Ниже — ключевые тезисы нашей встречи, а полную расшифровку митапа можно почитать здесь.



Читать дальше →
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 1

КОМПАС-3D x64 и Linux на базовом Wine 8.0

Время на прочтение 3 мин
Количество просмотров 1.2K
Блог компании АСКОН Настройка Linux *Системное администрирование *CAD/CAM *Софт
Туториал

Инструкция — вектор для тех, кому нравится поковыряться в системе

В прошлой статье я начал публиковать инструкции по развёртыванию КОМПАС-3D под ОС на ядре Linux, а сегодня это дело закончу. Пока разработчики ещё трудятся над нативной Linux‑версией КОМПАС-3D, поэтому сейчас доступны два варианта работы в Linux: через WINE@Etersoft от команды «Этерсофт» и свободную версию Wine.

Ранее мы рассмотрели запуск с помощью WINE@Etersoft, на очереди Wine.

Как запустить КОМПАС на чистом Wine
Всего голосов 11: ↑10 и ↓1 +9
Комментарии 1

Надежные пароли будут надежно забыты. Часть 2. Распределенные системы наносят ответный удар

Время на прочтение 5 мин
Количество просмотров 1.2K
Информационная безопасность *Криптография *Распределённые системы *Криптовалюты
Кейс

Это был конец декабря 2021-го года, мы едем через Техас, только что благополучно переночевали в El Paso — низкий тебе поклон Голливуд за прекрасные фильмы, такие как Sicario, после которых у нас тряслись коленки когда мы въезжали в этот прекрасный город. Продолжаем движение по направлению к Boca Chica, посмотреть на StarBase (оно того стоит поверьте). На улице жара +30 и солнечно, приятная летняя погода. В фоне отгоняю от себя мысли о том, что тут творится летом с температурой и людьми.

О чем можно думать в этот момент кроме как о космосе, о будущем и о распределенных системах? Конечно много о чем, а не этой гиковской фигне:) ...

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Комментарии 6

Моделируем в радиолокации то, что обычно не моделируют

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 734
Блог компании ЦИТМ Экспонента Разработка систем связи *Matlab *Инженерные системы *
Обзор

Привет, хабр! Уже более 5 лет занимаюсь разработкой и моделированием радиолокационных систем, в частности «больших» локаторов дециметровой длины. В своей практике сталкивался с тем, что при разработке такой сложной системы, как локационная, в основном делают упор на моделировании функциональной части, например, блоков фильтрации, типа зондирующего сигнала, алгоритмов компенсации задержек, а иногда и учет нелинейных эффектов, в частности в аналоговом усилительном тракте.

Как‑то раз, разрабатывая модель функциональных блоков и ячеек локатора в матлабе и симулинке (для моих нужд и целей этого аппарата хватало вполне), задумался о том, что живой локатор так не работает, он состоит из множества дополнительных систем, которые в совокупности и формируют его истинный облик. Проведя небольшие исследования, а также на личном опыте столкнулся с тем, что мало кто из разрабов моделит САУ, а уж совместно с функциональной частью и подавно. Еще меньше моделят учет и потери пакетов при сетевом трафике, а это частая проблема у «больших» локаторов со множеством приемо‑передающих ячеек и блоков.

В связи с этим появилась идея поделиться с читателями Хабра простыми (хелповыми), но полезными моделями, которые подтолкнут или способствуют к решению этих проблем. Также хочу поделиться небольшим опытом в моделировании аналоговой части, так как ее в реале еще никто не отменял.

Итак, поехали..

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 5

Как настроить OpenVPN на Debian 11. Часть 2

Время на прочтение 9 мин
Количество просмотров 789
Блог компании Southbridge Настройка Linux *Информационная безопасность *Системное администрирование *

Когда вы настраиваете удалённый доступ, важно не только предоставить всем сотрудникам подключение к нужным сервисам, но и позаботиться о безопасности. В этом помогает VPN — виртуальная частная сеть. 

В первой части мы запустили OpenVPN на Debian 11. Однако, прежде чем начать его использовать, нужно создать файл конфигурации для клиентской машины. Во второй части разберём, как создать инфраструктуру, которая будет генерировать файлы конфигурации клиента. А также отдельно рассмотрим, как установить клиентский VPN-профиль на Windows, macOS, Linux, iOS и Android.

Читать далее
Всего голосов 10: ↑7 и ↓3 +4
Комментарии 2

Доработка фильтра обратного осмоса

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 13K
Читальный зал Лайфхаки для гиков Здоровье Инженерные системы *
Кейс

Как-то в пору жаркого лета жена обратила мое внимание на странный привкус воды, которая текла после фильтра. У нас был установлен трех секционный проточный фильтр под мойку, а для питья мы пользовались еще и дополнительным фильтром в кувшине.


Хотя фильтры под мойкой менялись не очень давно, я решил поменять их еще раз, и к своему ужасу увидел неприглядную картину, примерно вот такую:


грязные


А так как колбы фильтров были не прозрачные, то заранее увидеть весь этот ужас было невозможно. И не смотря на то, что я руководствовался рекомендациями производителя по срокам замены фильтров, сюрприз вышел очень неприятный.


После этого пришлось озаботится получением чистой воды, которая идет на приготовление пищи и питье. Только в этот раз решил подумать, прежде чем бездумно выполнять рекомендации производителей и вестись на их рекламные общения.


И к своем неудовольствию, я не нашел такого предложения, которое бы меня устраивало! В итоге после некоторых размышлений, решил немного доработать фильтр обратного осмоса, о котором и хочу рассказать.

Читать дальше →
Всего голосов 17: ↑7 и ↓10 -3
Комментарии 174

Эргономичный мониторинг на практике

Уровень сложности Средний
Время на прочтение 18 мин
Количество просмотров 1.7K
Блог компании KTS Разработка веб-сайтов *Python *DevOps *Kubernetes *
Мнение

Мониторинг проекта — это комплексная задача. В неё входит не только передача метрик, но и сбор логов, трейсов, health-чеки, правила для алертов и система их доставки до ответственных разработчиков.

Важно, чтобы мониторинг развивался планомерно в процессе разработки бизнес-логики. В этой статье я расскажу о том, как подойти к реализации мониторинга со стороны разработки так, чтобы он был полезен и удобен в использовании.

Читать далее
Всего голосов 19: ↑18 и ↓1 +17
Комментарии 1

Основы веба, которые должен знать начинающий разработчик

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 6.2K
Блог компании RUVDS.com Разработка веб-сайтов *HTML *Сетевые технологии *
Перевод

В этом посте я объясню, как работает Интернет. Мы ответим на вопросы наподобие «Как браузер находит файл HTML для запрошенной веб-страницы?», «Как файл HTML превращается в интерфейс пользователя?», «Что можно сделать, чтобы ускорить этот процесс?», «Как устанавливается и поддерживается связь с сервером?», а также рассмотрим следующие концепции:

  • Клиент-серверную модель
  • Жизненный цикл запроса веб-страницы
  • Hypertext Transfer Protocol
  • Как браузеры рендерят контент
Читать дальше →
Всего голосов 46: ↑37 и ↓9 +28
Комментарии 13

5 лучших практик для успешной стратегии управления мастер-данными

Время на прочтение 4 мин
Количество просмотров 328
Клиентская оптимизация *Хранение данных *Управление e-commerce *
Обзор

Задумывались ли вы, во сколько вашему бизнесу обходятся ошибки в справочниках компании? По данным Gartner — ведущей мировой исследовательской компании, неверные данные о клиентах могут стоить компании 30% ее годового дохода. С точки зрения информационных технологий, данные о клиентах относятся к мастер‑данным или, как они еще называются, — основным данным.

Поделюсь тем, что такое мастер‑данные, почему ими важно управлять и как с помощью внедрения стратегии управления мастер‑данными (master data management — MDM) сократить потери бизнеса.

Потребность в разработке стратегии MDM тесно связана с назревшей необходимостью цифровой трансформации бизнеса. Этот процесс сопровождается накоплением и умножением десятков, иногда сотен различных приложений и систем, которые генерируют и используют данные. Сведения передаются от отдела к отделу, от бизнеса к бизнесу и в конечном итоге фрагментируются, повреждаются, дублируются…

В таких обстоятельствах использование данных становится все более трудным, если не сказать — невозможным. Причем это касается не только сложных проектов! Даже выявление наиболее прибыльных клиентов или высокомаржинальных продуктов является невыполнимой задачей, если не научиться управлять мастер‑данными.

Читать далее
Всего голосов 2: ↑0 и ↓2 -2
Комментарии 0

Как устроен виртуальный помощник для data-сервисов в «Магните»

Время на прочтение 6 мин
Количество просмотров 482
Блог компании Магнит Big Data *Хранилища данных *
Кейс

Привет! Меня зовут Александр, я главный системный аналитик в департаменте по работе с данными «Магнита». В этой статье рассказываю про виртуального помощника (чат‑бота), который помогает пользователям корпоративного хранилища данных (КХД) ориентироваться в данных и сервисах департамента и других подразделений, развивающих инструменты для аналитики.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Архитектура SSH. Узел-бастион и принцип нулевого доверия

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 5.7K
Блог компании RUVDS.com Децентрализованные сети *Информационная безопасность *Open source *Серверное администрирование *

В инфраструктуре организации есть такое понятие, как узел-бастион — специальный компьютер в сети, обычно на внешней стороне демилитаризованной зоны (ДМЗ) организации. Узел назван по военной терминологии. Если кто видел средневековые крепости, там есть специфические выступы — бастионы, как на КДПВ.

То же самое в компьютерных сетях. Например, перед защищённой компьютерной сетью ставится специальный сервер, через который пробрасывается SSH-туннель в свою частную сеть. Данный «бастион» организуется в соответствии с концепцией нулевого доверия, которая предполагает абсолютное недоверие ко всем объектам и пользователям как снаружи организации, так и внутри неё.
Читать дальше →
Всего голосов 38: ↑38 и ↓0 +38
Комментарии 1

Как работать с облачной инфраструктурой: книги и справочники для инженеров [и интересующихся]

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.3K
Блог компании CloudMTS IT-инфраструктура *Профессиональная литература *DevOps *Облачные сервисы *
Обзор
image

Мы подготовили подборку свежих высоко оцененных изданий (опубликованных после 2021 года), которые рекомендуют специалисты облачных провайдеров, резиденты Hacker News и участники тематических тредов на других площадках.

Книги из списка могут быть полезны системным администраторам, разработчикам и всем, кто желает погрузиться в мир микросервисов, ОС и DevOps.

Также напомним, что у нас есть база знаний с практическими материалами по облачным сервисам.

Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Apache NlpCraft 1.0.0. Упрощение использования и расширение возможностей

Время на прочтение 7 мин
Количество просмотров 349
Open source *Scala *API *Apache *Natural Language Processing *
Обзор

Apache NlpCraft - библиотека с открытым исходным кодом, предназначенная для интеграции языкового интерфейса с пользовательскими приложениями. Новая версия 1.0.0 привнесла в проект наиболее существенные изменения за все время его существования. 

Основные идеи развития библиотеки были изложены в данной заметке, вкратце напомню их суть:

1. Предельное упрощение, отказ от всех вспомогательных enterprise возможностей, предельно точная фокусировка продукта.

2. Максимальная  плагабильность, позволяющая контролировать все элементы обработки текста и как следствие, решающая проблему поддержки мультиязычности.

Читать далее
Рейтинг 0
Комментарии 0

Развёртывание программных систем в Kubernetes с помощью Jsonnet

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.6K
Функциональное программирование *DevOps *Kubernetes *
Мнение

Kubernetes (k8s) является де-факто стандартом для развёртывания приложений. В терминах K8s приложение представляет собой набор сконфигурированных ресурсов нескольких типов — pod, service, deployment, secret, statefulset,… Конфигурация каждого ресурса задаётся унифицированно с помощью YAML (или JSON) манифеста. Kubernetes API и интерфейс командной строки позволяют манипулировать манифестами ресурсов, а сами ресурсы автоматически приводятся в состояние, соответствующее манифестам.


Для формирования согласованных конфигураций ресурсов используются дополнительные технологии. Например,


  • Helm — генерация манифестов на основе строковых шаблонов + "магазин" готовых компонентов (package manager).
  • Kustomize — ("Kubernetes cUSTOMIZation") — донастройка манифестов путём внесения исправлений в различные свойства.
  • Jsonnet — генерация манифестов с использованием легковесного функционального языка, предназначенного для генерации JSON.

Для синхронизации проектов, хранящихся в репозитории git, с фактическим состоянием инфраструктуры в каком-либо кластере может использоваться специальное приложение, работающее в рамках концепции GitOps, например ArgoCD. Причём поддерживаются как проекты, содержащие собственно манифесты, так и проекты, основанные на вышеперечисленных генераторах/модификаторах.


Эти генераторы широко применяются в различных приложениях и, в целом, позволяют решить задачи, связанные с развёртыванием инфраструктуры. Однако, имеются существенные отличия в подходах, что определяет возможности и потенциальный охват задач.


Рассмотрим, какие требования было бы разумно предъявить к языку описания инфраструктуры. (В этой заметке излагается взгляд автора, занимающегося разработкой программного обеспечения. Другие стороны, например, команды эксплуатации, могут иметь иной взгляд на этот вопрос.)

Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 4

Тайные каналы связи или как централизованные сервисы способны разлагаться изнутри

Уровень сложности Сложный
Время на прочтение 17 мин
Количество просмотров 2.5K
Децентрализованные сети *Информационная безопасность *Криптография *Программирование *Go *
Кейс

Современный мир нельзя представить без сервисов связи, таких как социальные сети, мессенджеры, электронная почта, файловые хранилища и т.п. Мы пользуемся данными сервисами постоянно, ровно как и они планомерно пользуются нами. Конфиденциальная информация становится для сервисов связи святым граалем в задачах таргетированной рекламы. А для нас граалем становится их лёгкость использования, высокая производительность и большие размеры хранилищ.

На первый взгляд кажется, что такой специфичный способ взаимодействия клиентов с сервисами представляет собой некий симбиоз, при котором мы друг друга дополняем и оберегаем (исключительно ради собственных интересов). Но всё же, если смотреть более углубленно на данный вид коммуникаций, то может появиться дополнительный вопрос: есть ли место в подобной парадигме паразитическим отношениям?

Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 2