Как используя связку Promtail + Loki + Grafana настроить сбор логов из текстового файла и сделать простой, но функциональный дашборд.
Администрирование
Тестируем отечественную систему виртуализации: VMmanager
Привет, Хабр!
В первой статье моего цикла я предложил читателям выбрать системы виртуализации, которые должны стать «подопытными кроликами» в моем исследовании. Одним из лидеров народного голосования стала российская платформа VMmanager. Пришло время посмотреть, что из себя представляет это решение, какие функции реализовал разработчик и для каких сценариев я бы мог рекомендовать эту платформу.
Парк юрского периода глазами нейросети: как развернуть Diffusers для генерации изображений за 10 минут
Как часто бывает: появляется немного свободного времени, хочется отдохнуть и написать картину… но его то ли недостаточно, то ли просто лень размахивать кистью. Но можно делегировать задачу нейросети — для этого необязательно использовать Midjourney или DALL-E.
Один из вариантов — развернуть собственного помощника на готовом сервере с помощью библиотеки Diffusers и моделей Hugging Face. Мы попробовали и сгенерировали целый «Парк юрского периода» с разными тирексами. Что из этого получилось и как повторить наши творения, рассказываем под катом.
Разговор с одним из основателей «Базальт СПО» Алексеем Смирновым о свободном ПО и взаимодействии в комьюнити
В конце сентября и начале октября 2023 года информационная служба Хабра посетила 19 конференцию разработчиков свободного ПО. Это профессиональная конференция для разработчиков, где они обмениваются мнениями. Иногда там возникают споры или оживлённые дискуссии. Обзор мероприятия будет позже, а пока — вот интервью с одним из организаторов этой конференции, председателем совета директоров «Базальт СПО», членом правления «Руссофта» и АРПП «Софт» Алексеем Смирновым.
Истории
Off-site резервирование данных в Carbonio
Ранее мы уже рассказывали про систему резервирования данных в коммерческой версии Carbonio. Напомним, что она поддерживает два вида резервирования - снятие снапшотов системы, а также транзакционное резервирование, которое позволяет сохранять каждую транзакцию и в случае возникновения проблем восстанавливать не только систему целиком, но и отдельные элементы. Однако для действительно надежного резервирования данных требуется, чтобы сервер и резервная копия данных находились в географически разнесенных локациях. В данной статье мы расскажем о том, как настроить Carbonio Backup таким образом, чтобы получить полноценное Off-site резервирование данных.
Jenkinsfile – это не Groovy
Я не нашел в документации к Jenkins утверждения, что Jenkinsfile
пишется на Groovy, но количество отсылок к Groovy столь велико, что у многих людей создаются ложные ожидания.
Я решил написать этот пост после многократного объяснения коллегам отличий скрипта Jenkinsfile
от Groovy.
Черкаш-код: изобретение и внедрение
Так вышло, что спустя более чем 20 лет работы связанной с IT мне захотелось заглянуть в другие области знаний и таковой стала юриспруденция. Поступление на заочку, учёба, множество открытий, о которых и не задумывался раньше, привели меня к очередному этапу - учебной практике. Практика длилась месяц полноценной работы (рабочий день чуть короче обычного) и, помимо прочего, столкнула меня с большим количеством папок с документами. Поковырявшись недельку с этим добром мне пришла простая идея по структуризации этого дела в виде внедрения черкаш-кода, о чём и поведаю в данной статье.
Системы управления базами данных: новая жизнь после Oracle
Системы управления базами данных (далее по тексту – СУБД) – набор компонентов, с помощью которого можно создавать, хранить, передавать и управлять базами данных. Они нужны практически на любом предприятии, которому приходится иметь дело с большими массивами информации: это могут быть данные о товарах магазина или производителя, данные о клиентах, данные о сотрудниках, данные о вашем сайте – в общем, всё, что по какой-то причине нужно хранить для решения разных бизнес-задач.
Особенности сбора метрик. Запуск приложения gunicorn-ом в режиме мультипроцессинга
Представим следующую ситуацию. Ваш python веб-сервер собирает какие-то метрики prometheus_client-ом: счётчики, гистограммы и т. д, например, количество входящих запросов. Вы также настроили приложение, чтобы /metrics
возвращал все ваши метрики. Если режим работы prometheus_client-a оставить по умолчанию, при запуске приложения gunicorn-ом с более чем одним воркером вы сталкиваетесь с проблемой консистентности метрик.
Компонентный подход к Ansible или как навести порядок в инфраструктурном коде
Привет, Хабр! Меня зовут Игорь Гербылев, я технический директор в компании Just AI. В этой статье я расскажу о методологии структурирования ansible-плейбуков, которую мы называем «Компонентный ансибл». Этот подход позволил нам упростить разработку и поддержку большого объёма ансибл-кода, который мы используем для настройки инфраструктуры и развёртывания наших SaaS продуктов.
Книга «BPF: профессиональная оценка производительности»
Инструменты оценки производительности на основе BPF дают беспрецедентную возможность анализа систем и приложений. Вы сможете улучшить производительность, устранить проблемы в коде, повысить безопасность и сократить расходы. Книга «BPF: профессиональная оценка производительности» — ваш незаменимый гайд по применению этих инструментов.
Брендан Грегг — эксперт и пионер проекта BPF — представляет более 150 готовых инструментов анализа и отладки, рекомендации по их применению, а также пошаговые инструкции по разработке ваших собственных инструментов. Вы узнаете, как анализировать процессоры, память, дисковый ввод/вывод, файловую систему, сети, языки программирования, приложения, контейнеры, гипервизоры, безопасность и ядро. Вы сможете выработать глубокое понимание того, как улучшить буквально любую Linux-систему или приложение.
Amazon разработала собственную ОС вместо Android для своей экосистемы устройств. Что это за проект?
На днях стало известно о том, что корпорация Amazon разработала операционную систему. Она, насколько можно судить по общедоступной информации, предназначена для установки на собственные устройства — сначала небольшой ряд моделей. Если всё пройдёт хорошо, её будут использовать для всей экосистемы устройств. Подробности о проекте — под катом.
Интернет провайдер и его Клиент у которого сеть упала
Не так давно я работал сетевым инженером в региональном Интернет провайдере с услугами, в основном, для домашних абонентов. А потом ушёл в корпоративный сегмент, в компанию с большой филиальной сетью по России. И помимо того что это другой опыт и другой взгляд на профессию - это другой взгляд на провайдера и его взаимодействие с клиентами, теперь уже со стороны клиента. Нельзя сказать, что для меня получилось сделать какие-то невероятные открытия в этом взаимодействии, нет, но какие-то моменты получилось сформулировать более точно, про них и будет в этой статье. Рассмотрим реальные, я думаю типичные, ситуации из практики работы сетевого инженера в бизнес компании с провайдерами Интернет через призму отношения к этому со стороны провайдера в том числе.
Ближайшие события
Kubernetes 1.28: sidecar-контейнеры возвращаются?
Если вы используете Kubernetes, то, наверное, уже слышали про sidecar-контейнеры. Эта концепция лежит в основе нескольких важных строительных блоков облачной экосистемы, прежде всего service mesh. При этом удивительно, что в самом Kubernetes нет собственного понятия sidecar-контейнеров — по крайней мере, не было до сих пор. Наконец-то грядут долгожданные изменения: предложение по добавлению sidecar-контейнеров (sidecar KEP) войдёт в релиз Kubernetes 1.28, и в API Kubernetes они официально появятся.
Команда VK Cloud перевела руководство по sidecar-контейнерам Kubernetes: что это такое, для чего они существуют и что изменилось в Kubernetes 1.28
Как обновлять информацию о фильмах и сериалах на медиацентре Kodi бесплатно и на русском языке
Kodi это свободный медиацентр, который в том числе можно настроить для красивого отображения локальной медиатеки из фильмов и сериалов в виде вашего собственного кинотеатра без абонентской платы.
Это достигается за счёт того что все файлы уже хранятся на вашем собственном сетевом хранилище с локальным доступом или записаны прямо в памяти Kodi, который может быть установлен практически на любой платформе.
Конечно, чтобы просматривать уже скаченные фильмы Kodi не нужен, ведь можно записывать файлы на флешку и втыкать её в телевизор для просмотра. Но можно действовать более технологично - отдать функцию скачивания обложек и описаний Коди. Примерно год назад я писал, что Kodi перестал обновлять информацию о фильмах, потому что TMDB заблокировал доступ пользователям из России. С тех пор ситуация поменялась и доступ появился, но периодически вся конструкция скрепера, то работает то нет, что очень неудобно.
В этой статье решил разобраться как скачивать обложки и описания не с медиацентра, а используя обычный компьютер и менеджер библиотеки Kodi.
История турникета: от деревянной вертушки до распашных турникетов
Для большинства, турникет сегодня это обыденный элемент современных систем контроля и управления доступом, а между тем, турникет не только менялся в условиях меняющегося мира, но и сам способствовал этим изменениям.
Благодаря уникальной возможности турникета, отсечения проходящих по одному, турникет стал одним из драйверов культуры самообслуживания в начале 20 века. Кларенс Сондерс, основатель первого магазина самообслуживания Piggly Wiggly, не просто использовал турникеты в своих магазинах. В первых рекламных материалах, он подчеркивает прогрессивные характеристики турникетов, предоставляющие покупателям личную автономию, свободу выбора, освобождение от навязчивости и предвзятости продавцов.
Понятно, что турникет всего лишь один из элементов позволивший использовать технологии самообслуживания. Но видимо с точки зрения Сондерса, это важный элемент, именно турникет он использует в своих рекламных слоганах: — «Дорога к процветанию лежит через турникеты в Piggly Wiggly» или «Через турникет в страну приключений»
И это, пожалуй, тот момент, когда я, вслед за Сондерсом, предложу вам отправиться в страну приключений, удивительную страну в которой я расскажу про историю появления и развития турникетов, от древности до наших дней.
Сколько нужно ядер cpu, чтобы выдержать 30k+ rps?
Меня зовут Вадим Ивахин, я техлид в Vi.Tech — это IT-дочка ВсеИнструменты.ру.
Я и мои коллеги трудимся над большим количеством проектов и используем в своей работе различные инструменты, в том числе MongoDB. В этой статье я не стану рассказывать о том, что такое MongoDB. Хочу рассказать о её интересной и удобной особенности — механизме Watch, и о том, как с его помощью спроектировать приложение, способное выдержать десятки тысяч rps.
MPLS: всего по чуть-чуть
Вы ещё ощущаете жжение ниже поясницы при обсуждении MPLS? Даже если это уже давно пройденная стадия изучения сетей, технология коммутации меток всё ещё способна преподнести пару сюрпризов, особенно в сочетании с OSPF. Если Вам нравятся голые указатели в C++, а broadcasting в Numpy кажется естественным и непринуждённым – добро пожаловать под кат.
Как использовать ресурсы Kubernetes по максимуму для работы с Go-приложениями
Привет! Меня зовут Антон Жуков, я руковожу группой разработки в Сбермаркете. В профессии я уже более 12 лет, с Golang работаю с 2016 года, а с Kubernetes — с 2018 года.
В этой статье расскажу об основах Kubernetes, возможных проблемах и решениях, а также о том, как грамотно использовать ресурсы этой платформы, чтобы выжать максимум из Go-приложений. Кроме того, в конце статьи я опишу кейс настройки GOMAXPROCS на примере нашего приложения и расскажу, как нам удалось повысить его производительность на 20-50%.
C VDI на Руси жить хорошо? Функциональные особенности российского VDI
В этой статье мы хотим посмотреть на несколько российских решений с точки зрения их функциональных особенностей. По всем этим решениям мы прошли обучение у вендоров, протестировали их в нашей лаборатории и провели пилотные внедрения у заказчиков. У нас накопился опыт по отечественным продуктам, которым хотим поделиться.
Для начала отметим, что VDI по своей сути — это система автоматизации двух ключевых процессов:
— Управление жизненным циклом виртуальных рабочих мест (ВРМ) (развертывание из шаблона с регистрацией в службе каталога, пауза, перезапуск, удаление, переразвертывание после внесения изменений в шаблоны и т. п.).
— Управление пользовательскими сессиями: авторизация пользователей, организация сессий, проброс пользовательских устройств на виртуальные АРМ.
Весь остальной функционал, по сути, вспомогательный, хотя и не менее важный на практике: кластеризация компонентов управления VDI, балансировка и туннелирование трафика, управление пользовательскими профилями, доставка отдельных приложений, терминальные сессии, удаленный помощник.