Любой начинающий DevOps начинает своё знакомство с Git. Этот инструмент стал неотъемлемой частью рабочего процесса разработчиков по всему миру. Во многих курсах и руководствах по DevOps описывается настройка серверов через популярные платформы, такие как GitLab, а иногда и Gitea. Однако мне стало интересно попробовать другой путь — использовать встроенный в Git инструмент GitWeb.
Администрирование
Быстрый запуск Redis через Docker Compose
Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить Redis с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных Redis, работающую в изолированном Docker контейнере. Важные компоненты, такие как данные кэша и конфигурации, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.
Динамическое создание UDF в Apache Spark из строк кода: проблемы и решение («костыль»)
В данной статье рассматривается подход к созданию пользовательских функций (UDF) в Scala, специфически в контексте использования в Apache Spark. Автор исследует проблему динамической генерации и передачи лямбда-выражений через JSON, обсуждая ограничения сериализации функций в Spark и возможные решения с использованием типа Any
для универсальной обработки различного числа аргументов. Статья призывает к дискуссии и поиску альтернативных подходов, не претендуя на единственно верное решение, и представляет предложенный метод лишь как один из возможных вариантов решения задачи.
50 вопросов для опроса по мотивации сотрудников для вашего вдохновения
Мотивация сотрудников – ключевой фактор, влияющий на эффективность и продуктивность любой компании. Понимание того, что стимулирует ваших сотрудников к достижению лучших результатов, позволяет создать более благоприятную рабочую среду и повысить общую удовлетворенность персонала.
Эта статья предназначена для HR-менеджеров, руководителей отделов и собственников бизнеса, которые стремятся улучшить мотивацию своих сотрудников. Независимо от размеров вашей компании, опросы могут стать мощным инструментом для выявления факторов, которые наиболее сильно влияют на мотивацию вашего коллектива.
Истории
Что нового в Greenplum 7. Заключение
Перед вами заключительная, третья часть обзора изменений в Greenplum 7. Если вы по каким-то причинам пропустили прошлые публикации, то их можно найти в нашем блоге здесь и здесь. А сегодня мы поговорим об изменениях в партиционировании таблиц и ресурсных группах, JIT-компиляции выражений и многом другом. Давайте начнём!
Собираем полноценный NAS с 4 NVME дисками размером с небольшую книгу
Увидев видео про эту плату, я подумал, что она по сути может быть полноценной медиа приставкой, файлопомойкой и торрентокачалкой одновременно и при этом занимать место размером с маленькую книгу формата А5 и кушать 5 ватт в простое, работая 24/7. Вкусно!
На самом деле несмотря на маркетинг, нормальная комплектация стоит порядка 175 долларов (а не 100, плюс доставка и растаможка) и диски, естественно не входят в эту цену. Речь идёт про плату CM3588 на базе системы на чипе RK3588. Маркетинговая страничка, спецификация, вики. Комплектов на алике очень много вариантов (с корпусами и всякими доп. железками) - выбирайте очень аккуратно.
Изначально мне казалось будет приключение на 20 минут, но в итоге пришлось чуть повозиться и не всё получилось. В этой статье я расскажу, что именно получилось сделать с этой платой, а что не получилось и какие-то минимальные результаты тестирования прошивок от производителя, дисков и копирования файлов по сети.
DNS-хостинг для начинающих: разбираемся в многообразии ресурсных записей
Чтобы хоть как-то связать IP-адрес с доменом, хватит всего нескольких базовых ресурсных записей. Однако их существуют десятки, одни могут дружить или конфликтовать друг с другом, другие повышают безопасность, но при их неправильной настройке все перестает работать. Это вызывает вопросы пользователей с небольшим опытом или без него. В этой статье разберемся, какие типы ресурсных записей бывают, зачем их так много и посмотрим на примеры их добавления.
Отказоустойчивый деплой приложений в Kubernetes. Принципы, паттерны и приемы
Привет, Хабр! Я исполнительный директор по разработке департамента ML и BD Газпромбанка. Сегодня хочу поговорить с вами о деплое.
По данным, приведенным в Google SRE book, до 70% проблем происходит вследствие изменений в уже работающих системах. По моим личным ощущениям, это близко к правде: если у вас хорошо спроектированное и написанное приложение и стабильная, отлаженная инфраструктура, именно деплой — узкое место (которое можно улучшить). Для минимизации рисков Google SRE BOOK рекомендует использовать постепенные выкаты, быстро и точно анализировать проблемы, а в случае необходимости легко откатываться обратно.
Эта статья о деплое в Kubernetes, потому что это самая популярная инфраструктурная платформа, которая уже имеет множество возможностей для построения отказоустойчивых выкатов. А то, чего не хватает «из коробки», покрывается возможностями инструментов развитой экосистемы.
Но начать нужно не с возможностей Kubernetes, а с архитектурных особенностей, которые должны быть реализованы при создании приложений, предназначенных для работы в ней.
Те, кто больше любит слушать, чем читать, могут посмотреть мой доклад про это на HighLoad++. Остальным — добро пожаловать под кат.
Один день из жизни серверной стойки. Экскурсия по ИТ-лаборатории, где мы ставим опыты над сетевыми железками
Привет, Хабр! Я – серверная стойка в лаборатории ИТ-компании К2Тех. Пару слов о себе: я металлическая, китайская и за пару лет в России уже довольно сносно изъясняюсь по-русски. Последнее время я пользуюсь бешеной популярностью. Приходит много сотрудников из разных департаментов, да и партнеры с рынка тоже, все меня рассматривают со всех сторон. Пора заводить учетку в социальных сетях и лайки собирать.
Начну, пожалуй, с Хабра. И расскажу, как все у нас устроено в лаборатории. А точнее – в сетевой лаборатории, где мы тестируем железо и ПО, чтобы строить надежные сети на базе разных производителей.
Известные проекты, демонстрирующие силу облаков на OpenStack
Walmart, China Mobile, большой адронный коллайдер и даже игры Blizzard Entertainment — все используют OpenStack. Однако, делают это по-своему.
OpenStack — решение для организации облачных сред с открытым исходным кодом, которое обладает большой гибкостью и возможностями настройки. Поэтому решение справляется, как с рядовыми задачами, так и с высоконагруженными конфигурациями.
Хотя про OpenStack говорят не так активно, как 5 лет назад, он никуда не уходил. Напротив: всё больше компаний присматриваются к нему. Например, мы в «Инферит Облако» построили инфраструктуру именно на этом решении.
Сегодня вспоминаем четыре облачных проекта, которые стали возможны благодаря гибкости и возможностям масштабирования OpenStack.
Быстро разворачиваем docker, nginx и certbot
В нашей команде мы часто сталкиваемся с необходимостью развертывания новых серверов с одинаковой конфигурацией: nginx, docker, docker-compose и certbot. nginx используем для проксирования докера и назначения человеческого DNS. Для того чтобы не повторяться мы, мы разработали набор скриптов...
ELK: использовать нельзя изобрести
Прекрасный момент: система написана, часть тестов автоматизирована, отчеты сгенерированы и даже выявлено несколько дефектов. Выдыхаем и будем думать о дальнейших планах: увеличить тестовое покрытие, добавить стабильности и что-то делать с логированием. Стоп, подождите, вы про логи? Заряжаем ELK, агенты сбора, выделяем ресурсы. Как нет ресурсов? Так, может быть, rsyslog в конце концов? И его нельзя? Звучит как тестовая задача на собеседовании, однако можно ли в такой ситуации обойтись без дополнительных инструментов, да еще и интегрировать работу с логами в систему автоматизации тестирования?
Деплой .NET приложений для самых маленьких. Часть 1. Jenkins
В прошлой статье мы рассмотрели способы запуска наших проектов на удаленном VPS. Для этого мы арендовали хостинг, создали шаблонное приложение, перенесли его на хостинг через простое копирование через ssh и через git clone, запустили через dotnet run / dotnet publish
, а также развернули приложение в докере.
Действительно, такой подход сложно назвать правильным даже для учебных целей, уж тем более его вряд ли можно назвать хорошим для реальных рабочих проектов. Поэтому предлагаю рассмотреть сценарий развертывания контейнеризированного .NET приложения с использованием Jenkins.
Ближайшие события
50 вопросов для опроса пользователей для вашего вдохновения
Опросы пользователей – это важный инструмент, который помогает компаниям лучше понимать своих клиентов, выявлять их потребности и предпочтения, а также улучшать продукты и услуги. Эта статья представляет собой сборник из 50 вопросов для опросов пользователей, которые помогут вам вдохновиться и создать собственные анкеты для получения ценной обратной связи.
Статья предназначена для маркетологов, исследователей, бизнес-аналитиков и всех тех, кто занимается анализом данных и взаимодействием с клиентами. Независимо от того, работаете ли вы в крупной компании или ведете небольшой бизнес, понимание мнений и предпочтений ваших пользователей может стать ключевым фактором успеха.
Быстрый запуск PostgreSQL через Docker Compose
Доброго времени суток! Сегодня я продемонстрирую вам, как быстро и эффективно настроить PostgreSQL с помощью Docker Compose. Этот процесс займет всего несколько минут, но в результате вы получите полноценную базу данных PostgreSQL, работающую в изолированном Docker контейнере. Важные компоненты, такие как базы данных, таблицы и индексы, будут сохранены на вашей локальной машине благодаря использованию томов (volumes), что обеспечит надежность и доступность данных.
Манипуляция временем транзакции в блокчейне Hyperledger Fabric
На Хабре ещё не было статей про безопасность смарт-контрактов блокчейна Hyperledger Fabric. Так что буду первым. Я занимаюсь исследованием безопасности этого блокчейна год. И сегодня хочу рассказать о довольно серьёзной проблеме: манипуляции временем транзакции. Рассмотрим, как атакующий может произвести манипуляции, к каким финансовым последствиям может привести атака (на примере концепта вымышленного уязвимого смарт-контракта, имитирующего цифровой финансовый актив). Расскажу какие способы защиты я предлагаю. Также, обсудим, почему для корректной защиты от атаки может потребоваться не только изменение смарт-контракта, но и налаживание взаимодействия между командой эксплуатации смарт-контракта и администраторами сети. Статья предполагает хотя бы базовый уровень знакомства читателя с Hyperledger Fabric.
Как с помощью систем ЖКХ анализировать потенциально экстренные ситуации
С помощью мониторинга счетчиков воды, электричества, газа (если таковой имеется) можно создать систему оповещения о несчастных случаях с большой вероятностью. Причем речь идет так о человеческих жизнях, так и о бытовых чрезвычайных ситуациях.
Алгоритм очень простой: нужно замечать случаи, когда расход ресурсов превышает средний статистический.
Пример: В доме бабушки Марфы из соседней квартиры уже два часа подряд течет вода. Вряд ли она столько моется в душе или моет посуду. Скорее всего, у неё в доме прорвало воду (хотя её может прорвать до счетчика, тогда утечки мы не увидим) либо ей стало плохо и она не закрыла кран. Аналогичные случаи про газ и свет. Вряд ли вы будете готовить на плите несколько часов или не выключать свет, телевизор, прочие электроприборы больше 12 часов, для примера.
Резюмируем
Netmiko: упрощение сетевой автоматизации на Python
Привет, Хабр!
Сегодня рассажем о модуле, который упрощает автоматизацию сетевых устройств — Netmiko. Если вы, как и мы, когда-то пытались автоматизировать конфигурации и управление сетью через SSH, то вы знаете, насколько это может быть сложным процессом. И тут на сцену помогает Netmiko.
Netmiko — это обертка над библиотекой Paramiko, разработанная для сетевых инженеров. Она упрощает работу с SSH-соединениями и добавляет ряд методов и интерфейсов для взаимодействия с сетевыми устройствами.
Этот модуль поддерживает большой спектр сетевых устройств — от Cisco и Juniper до Arista и HP. Всё, что нужно, это определить параметры устройства в виде словаря, и Netmiko позаботится обо всем остальном.
Сквозь тернии к разработке или радость и боль российской разработки электроники
Свое повествование я начну со слов классика — «Все счастливые семьи похожи друг на друга, каждая несчастливая семья несчастлива по-своему», потому что у каждого направления разработки есть более чувствительные места, а у кого-то эти же места менее чувствительны, но проблемы одинаковые. Данная статья пишется не для того, чтобы очернить или поругать, а для того, чтобы указать и подсветить, те проблемы, которые плохо видны человеку, не искушенному в разработке электроники.
Первая и наиболее значимая проблема, которая пронизывает весь путь разработки это повальное отсутствие компетентности, причем ни какого-то конкретного, а у большего количества людей, так или иначе связанных с разработкой. Начиная продавцов этой техники заканчивая людьми, которые должны анализировать рынок, формировать требования, причем, управлять отраслями или проектами, именно это положение дел длительное время сдерживает и будет сдерживать развитие целой отрасли в России.
Microsoft решила не развивать проект подводного дата-центра. Есть ли альтернатива?
Источник: natick.azurewebsites.net
Подводные дата-центры — идея далеко не новая. Первый прототип компания Microsoft разработала и погрузила под воду еще в 2015 году. Его нарекли Leona Philpot, а сам проект получил название Natick. Первая модель подводного дата-центра была небольшой, все необходимое оборудование поместили в контейнер габаритами 3x2 метра. Управление — дистанционное, поскольку людей внутри по понятным причинам не было.
Прототип проработал без проблем в течение 105 дней. Компания Microsoft признала эксперимент успешным. Энергоэффективность ДЦ очень высокая: показатель PUE составил всего 1,07. После того, как дата-центр разобрали и проанализировали его состояние, проект решили продолжать. Инженеры компании развивали и расширяли его, но сейчас проект пришлось закрыть, что случилось достаточно неожиданно. Давайте вспомним, что происходило с подводным дата-центром, и узнаем, почему его закрыли.
Хабы
Вклад авторов
alizar 18451.9ru_vds 9063.3amarao 5927.0marks 5856.7it_man 3106.6oldadmin 3057.0BarsMonster 2995.0aleksandrit 2889.4ntsaplin 2853.0eucariot 2852.0