Администрирование

1. Масштабируемое неограниченно (главная особенность — количество «холодных» данных будет постоянно нелинейно расти).
2. Нечувствительное к потере частей, то есть катастрофоустойчивое и устойчивое к поломкам. Почти как хранилище на космический корабль.
3. Способность экономически оправданно эволюционировать вместе с частями информационной системы, то есть в идеале — замена железа и обновление софта, а не переход к другим архитектурам и переносы в другие форматы хранения.
4. Единообразный доступ к данным независимо от платформы исполнения.

Как организовать бизнес-процессы при масштабировании вендингового бизнеса, когда парк автоматов растет, технических сервисных специалистов и мерчандайзеров, обслуживающих точки становится в разы больше, а Excel, WhatsApp и Telegram уже не хватает.

Иногда мне попадаются статьи о будущем технологий, в которых это будущее выглядит ясно и непротиворечиво.

Недавно это была статья восход дата инжиниринга от Maxime Beauchemin – инженера данных из Airbnb и создателя фреймворка Apache Airflow. В Astronomer Apache Airflow - основа технического стека: наши интеграционные потоки построены как пайплайны данных на направленных ациклических графов (DAG) в Airflow. Такие статьи как эта позволяют понять, почему именно сейчас лучшее время для компаний, таких как Astronomer.

После прочтения статьи я связался с Максом и попросил его об интервью, и к моей огромной радости, он согласился и дал полные ответы на вопросы про Apache Airflow и будущее дата инжиниринга.

Преамбула… Даная статья была написана ещё летом но, по независящим от автора причинам, немножко подзадержалась...

Однажды, жарким летним вечером, после очередной введённой в консоли браузера команды вида :set content.proxy socks://localhost:9050, автор сего опуса понял, что дальше так жить нельзя и пора приводить выход во всякие скрытосети, а заодно и обход блокировок имени известной организации к какому-то единому, для любого софта вообще и браузера в частности, «общему знаменателю». А как приводить? Разумеется так, что-бы прокси сервер сам «понимал», через какой вышестоящий прокси отправлять и принимать трафик в зависимости от введённого адреса. Вторая цель, вытекающая из первой, вышестоящие прокси могут работать либо как http, либо как socks и оба протокола должны поддерживаться входным прокси. Ну и сам софт должен быть более менее актуальным, что-б в случае ошибок или «хотения фич», не приходилось грустно смотреть на одинокую репу на гитхабе, а то и вообще на каком-нибудь сорсфорже.
Итак цели поставлены!

Философия интеграции методов безопасности в процесс DevOps

В последнее время внедрение культуры DevOps в работу привело к значительным изменениям процесса обработки данных. Для организаций методы DevOps приводят к получению ряда несомненных преимуществ, таких как гибкость, оперативность и сокращение расходов, а также бессерверные вычисления, динамичный провижиниг и оплата по мере использования/оплата по факту оказания услуги.

Несмотря на огромную популярность, одного DevOps недостаточно в случаях, требующих безопасной доставки кода. Это привело к развитию нового подхода (известного, как DevSecOps), интегрирующего методы безопасности с DevOps.

Airflow это популярная опенсорсная платформа управления задачами. В частности его используют для построения ETL-пайплайнов. Например, мне доводилось переливать данные между базами данных, хранилищами и озерами данных с его помощью. А также я использовал его для препроцессинга данных для моделей машинного обучения. Но так ли подходит Airflow для ETL на сегодняшний день?

В этой статье мы рассмотрим как с помощью Airflow ETL операторов выгрузить данные из Postgres в BigQuery в парадигмах ETL и ELT. Далее разберем сложности, с которыми вы можете столкнуться при реализации инкрементальной загрузки данных в DAG (DAG - directed acyclic graph, ориентированный ацикличный граф - цепочка связанных задач). Наконец, мы обсудим почему Airflow ETL операторы не смогут покрыть все ваши потребности в интеграциях в дальней перспективе.

Недавно наш отдел геймдизайна поменял основной инструмент и переехал с Google Документов на Notion —  хотели решить проблемы хранения и организации документов. В общем, ни разу не пожалели. 

Notion — это такой мегакомбайн, совмещающий в себе Jira, Confluence и Google Docs. В нем бок о бок уживаются огромная база данных, совместная работа над документами, календари, напоминания, списки задач, канбан-доски, интеграции сторонних инструментов и много-много другого.

Для себя мы организовали удобное хранилище всех геймдизайнерских материалов (ГДД, концепт-доки, фоллоу-апы, планы по контенту и так далее), сделали систему тегов, которая быстро позволяет найти любой документ, и создали готовые шаблоны для создания ТЗ в пару кликов.

Под катом расскажу, зачем решили сменить инструмент, как его выбирали и почему остановились на Notion. А мой коллега поделится логикой и организацией инструмента изнутри.

Привет, Хабр! 10.08.2021 вышло крупное обновление операционной системы Elementary OS - Elementary OS 6.0 Odin. Так как я около двух лет пользуюсь Elementary OS и имею уже настроенную под себя ОС, я задался логичным вопросом - Как обновить Elementary OS без переустановки?

Все мои изыскания в Google не привели меня к искомой информации, сами разработчики Elementary OS рекомендуют переустановку ОС как способ перехода на новую версию. Пришлось разобраться в вопросе и найти способ решения своей проблемы, чем и делюсь с вами.

Для тех кто не знаком с данной ОС, можно ознакомиться здесь и да, добро пожаловать в сообщество Elementary OS :)

В результате выборов, которые завершились 19 сентября был сформирован большой массив данных, которые могут рассказать исследователям интресные истории. В статье представлен проект и прототип веб приложения для анализа и визуализации данных выборов в Государственную Думу 2021. В проекте используется фреймворк Django и набор библиотек : Pandas, Matplotlib. 

Kinsing — вредоносное ПО на основе Golang, работает как агент. Основная цель данной малвари это добыча криптовалюты на взломанном сервере. Оно распространяется путем использования уязвимости в ошибке конфигурации сервисов, которые доступны извне.

Малварь может добавлять задания в запланировщик задач cron, чтобы иметь возможность переподключиться, например после перезагрузки сервера.

Как определить, что ваш сервер используется для майнинга малварью Kinsing?

Определите процессы, которые используют ресурсы процессора с помощью диспечера задач top или htop. В результате вы увидете, например, такие процессы: kdevtmpfsi, kinsing или dbused, которые максимально используют все ресурсы процессора.

Убить процессы отправкой сигнала KILL вы не сможете, так как со временем они запустятся снова.

Можно попытаться найти задания в запланировщике задач пользователей:

В этой статье мы хотим помочь глубже разобраться, как устроен процесс загрузки Linux, дать советы по реализации сложных сценариев загрузки Linux, а также познакомить с удобным и быстрым генератором initramfs образов - make-initrd.

Время рождения протокола IRC хорошо ощущается по одному факту: у IRC нет официального логотипа. Видимо, в конце 80-ых уделяли мало внимания красивой обложке программного обеспечения. Несмотря на это, IRC — настоящий титан своей ниши среди современников того времени: синхронизированная работа нескольких серверов в рамках одной IRC-сети, различные роли пользователей, групповые чаты, личные сообщения, простота разработки ботов, крайне низкое потребление системных ресурсов сервера.

Если вы давно забыли про "ирку", либо вовсе никогда не имели с ней дело — эта статья адресована вам.

В последнее время я всё чаще и чаще ловлю себя на мысли, что идиоты правят этим миром. Это проявляется не только в том, что "Мнение большинства - всегда ошибочно, потому, что большинство людей - идиоты" (© Эдгар Алан По), но и в конкретных ситуациях с казалось бы крупными IT-компаниями и организациями, которыми руководит явно не большинство. Тем не менее идиотами становимся мы сами. Это крайне хорошо было продемонстрировано нами в 2018 году, когда мы, хостинг-провайдер ua-hosting.company, предоставляющий услуги в Нидерландах и США и "заразившись" интеллектом в этих странах, удалили свой сайт и биллинг, со всеми транзакциями, данными клиентов об услугах и прочим (подробнее описано в статье "Как мы убили себя в один клик, размещая сайт и биллинг на геокластере или ещё раз поговорим об избыточности").

Но 7 октября, всего за 3 дня до памятной даты, произошло еще одно событие, которое просто заставило меня вспомнить об ещё одном возможном празднике, который стоит отмечать и который пока мало известен, но точно наберёт популярность. Зона .club, в которой делегированы миллионы доменов перестала работать, в результате "отвалились" все сайты, которые в ней делегированы. И это после недавней новости о том, как Facebook успешно обновил маршрутизацию, что не только привело к недоступности соцсети в течении большого времени, но и к тому, что их сотрудники не могли войти даже к себе в офис, так как не работала из-за сбоя и система безопасности.

Предлагаю сегодня, 10 октября, во Всемирный день идиота по мнению Google, еще раз поделиться собственными наблюдениями обоснованности дня в комментариях, а также рассказать, как в один миг можно потерять крупный проект или же получить огромный ущерб просто потому, что от идиотов никто не застрахован и временами стать идиотом может каждый из нас.

Helm использует go templates для рендеринга манифестов. Есть функции которые были разработаны специально для helm. Но в большинстве своем используется библиотека Sprig.

Но что если нам мало функций и мы хотим воспользоваться своим кастомным шаблонизатором?

OTA A/B обновление образа rootfs для IoT устройств с Linux при помощи проекта Mender. Как обновить образ системы на множестве удалённых устройств. Демонстрация на примере Raspberry Pi.

По мере того как все больше моделей развертывается в современных конвейерах, снова и снова возникате понимание, что данные и их фичаризация** (featurization) важнее всего остального. Последнее поколение систем больших данных масштабировало ML на реальные датасеты, теперь хранилища данных быстро становятся новым рубежом для подключения моделей к данным в реальном времени