Всем привет!
Сегодня поговорим о немного нетипичной для меня теме, а именно - Apache Superset. Обычно я пишу длинные "философские" статьи "на свободную тему", но в этот раз - это будет туториал. Так что кому-то может показаться банальностью, но, опять таки, вдруг кому поможет. Почему-то именно по суперсету на хабре оскорбительно мало материалов. Да, у него в целом неплохая документация, но она все же - документация, поэтому в меру сухая, в ней нет дополнительных объяснений, примеров. Попробуем хоть немного исправить эту ситуацию
Администрирование
Перенести терабайты канбан-досок в облако: опыт команды Yandex Tracker
Привет, меня зовут Мария Карпенко, я разработчик в команде Yandex Tracker — сервиса для управления процессами и проектами. Внутри Яндекса сервис используется для постановки задач практически во всех командах, так что общее количество событий по задачам исчисляется уже миллиардами.
Как внутренний сервис Tracker существует с 2012 года, и старые инстансы исторически использовали базы данных on-premise. Но к 2023 году многие части даже из списка легаси должны были переехать в облако — и нам понадобилось продумать бесшовный переезд для достаточно объёмных БД.
В этой статье расскажу, как мы решили эту задачу, — рассказ будет интересен всем, кто планирует переезд в облачную инфраструктуру.
Правильные, но (не)простые бэкапы. Как настроить резервное копирование в Kubernetes?
Разработчикам и системным администраторам важно обеспечивать надежность и доступность данных в приложениях Kubernetes. Несмотря на высокую степень автоматизации и управления контейнерами, всегда остаются риски сбоев или человеческих ошибок — поэтому необходимо заранее задуматься о резервном копировании.
Меня зовут Филипп, я системный администратор в отделе Data- и ML-продуктов Selectel. В этой статье постараюсь раскрыть, какие есть решения для резервного копирования в Kubernetes, и на простом примере покажу, как с ними работать. Подробности под катом.
Дата-центр в Нью-Йорке: как мы случайно начали предоставлять серверы и решения, как в NL и расти в США
Вот и тогда, в начале июня 2022-го, я знал лишь то, что чётких планов нет, скорее всего нужно лететь в США и что-то строить, причем поспешно, так как 18-го августа 2022 мы должны были принять участие в уникальной экспедиции в удалённую часть Кораллового моря и Большого Барьерного рифа в Австралии, которая, говоря наперёд, прошла потрясающе:
И 27 часов проведенных под водой в течении 6 дней, а также 18 000 км, которые мы объехали «вокруг» Австралии в течении 6 недель, позволили собрать уникальные материалы для одного из наших некоммерческих проектов, который будет анонсирован в следующем году.
Истории
Операция Lahat: новая группа Hellhounds атакует российские организации через системы на базе Linux
В октябре 2023 года команда Positive Technologies по расследованию инцидентов PT CSIRT обнаружила компрометацию одной энергетической компании с использованием трояна Decoy Dog. Этот вредонос активно используется в атаках на российские компании и правительственные организации по меньшей мере с сентября 2022 года. Однако образец, обнаруженный нами на хосте жертвы, представлял собой новую модификацию троянского ПО, которую злоумышленники доработали, усложнив его обнаружение и анализ.
Анализ инструментов, тактик и техник не позволил связать данную активность ни c одной из ранее известных APT-групп. Новая группа, названная нами Hellhounds, прикладывает значительные усилия для сокрытия своей активности на хостах и в сети. В интересы группы входят компании и государственные организации исключительно на территории Российской Федерации. Злоумышленники могут преследовать разные цели, но достоверно известно об одном случае полного уничтожения инфраструктуры.
Первый этап — загрузчик Decoy Dog Loader
Расследуя инцидент, мы обнаружили исполняемый файл /usr/bin/dcrond размером 9 КБ. Файл был защищен модифицированной версией упаковщика UPX с измененной сигнатурой 37 13 03 00 вместо UPX!. На момент расследования только один антивирусный движок детектировал пакер, а некоторые образцы и вовсе не детектировались ни одним из движков. Для обнаружения модифицированного UPX можно использовать публичное YARA-правило из исследования JPCERT/CC.
Выбор информационной системы для автоматизации вашей бизнес-задачи – разбираемся вместе с GlowByte
Вопрос автоматизации бизнес-процессов всегда был актуален для большого количества современных компаний, и в последние несколько лет тренд на автоматизацию набирает всё большие обороты.
Информационные системы (ИС) позволяют повысить качество бизнес-процессов компании, в том числе связанных со стратегическим планированием, прогнозированием и оценкой эффективности бизнеса в целом.
На рынке существует множество ИС, которые позиционируют себя как продукты, способные решить подобные задачи. В аббревиатурах вообще можно запутаться (BI, ERP, CRM, CPM, EPM, BPM и т. д.). Все эти аббревиатуры, на самом деле, представляют очень разные типы информационных систем, и надо бы разобраться, какой из них подходит под вашу конкретную задачу. При этом внутри каждого типа существует большой выбор различных вендоров, и вопрос выбора становится ещё менее очевидным: не погружённому в специфику продуктов пользователю далеко не всегда понятно, сможет ли конкретная система полностью удовлетворить запрос именно его компании.
Мы – направление FI (Financial Intelligence) компании GlowByte, специализируемся на внедрении информационных систем, знаем особенности, плюсы и минусы каждой. Этой статьёй мы начинаем цикл публикаций о том, как сделать автоматизацию бизнес-процессов эффективной, безболезненной и успешной. Всё, о чём мы будем писать, основано на личном опыте внедрения. Специалисты нашей команды имеют опыт внедрений в различных отраслях и спецификах, а также являются обладателями сертификатов DipIFR и CIMA, поэтому нам легко понять язык заказчика, прочувствовать все его “боли” и оценить, какой из существующих на рынке продуктов лучше всего подойдёт в каждом конкретном случае.
Call Me, please: как работает звонок по ссылке
Сегодня у бизнеса есть много каналов коммуникации с пользователями. Тем не менее, наиболее эффективным каналом с точки зрения бизнеса все еще остаются звонки. Но в реальности компании часто сталкиваются с проблемами при использовании этого канала: потерянные звонки, сложности с подключением к операторам и отсутствие прямой связи между клиентом и компанией.
Помочь в решении этих проблем может сервис "Call Me". Этот инструмент как раз заточен под улучшение коммуникации, предлагая простое, но эффективное решение. С его помощью каждое взаимодействие превращается в возможность для углубления отношений с клиентами, увеличения лояльности и, в конечном итоге, роста бизнеса. Рассказываем, как "Call Me" помогает бизнесу с коммуникациями.
Как мы вели переговоры с хакерами или сколько стоит беспечность для компании
Сегодня мы расскажем реальную историю из жизни собственников бизнеса. И хотя ее сюжет напоминает какой‑то голливудский фильм, произойти она может с каждым, кто заявляет: «Да у нас маленькая компания! Кому мы нужны?»
Есть у нас заказчик — выполняем работы по сопровождению сайта. Когда только начали сотрудничать, задали общие вопросы про инфраструктуру: что за железо, какой антивирус используют, как распределены права доступа и делаются ли бекапы. Получив не особо вразумительные ответы, мы предложили провести аудит информационной безопасности, на что заказчик ответил, что в штате есть системный администратор и все в порядке. Мы развели руками и забыли.
Спустя несколько месяцев от заказчика приходит сообщение: нас зашифровали и требуют выкуп. Что делать?
Оказалось, придя на работу, сотрудники вместо привычных docx, xlsx, pdf, jpg и т. д. на своих компьютерах обнаружили белые файлы с набором букв вместо расширения, а значит ни одна программа их не откроет.
Зато открывался документ с инструкциями. Взломщики обещали направить дешифратор за «скромную» сумму в 2000 долларов (на тот момент около 200 000 рублей), переведенную на указанный счет.
Представители компании попытались связаться с хакерами, но ответа не поступало, поэтому обратились за помощью к нам.
Демонстрация установки одного из узлов кластера vStack версии 2.1.3 (ч. 1)
Продолжаем рассказывать о возможностях гиперконвергентной платформы виртуализации vStack. В первом видео об установке узлов Евгений Гаврилов, руководитель проекта vStack, демонстрирует, как установить один узел кластера vStack.
Что важно учитывать при составлении SLA
Если у вас есть продукт, то у вас есть обязательства перед конечными пользователями. В этом случае SLA (соглашение об уровне обслуживания) — это отличный инструмент. Он помогает сфокусировать внимание разработчиков продукта на том, что больше всего нужно вашим клиентам.
Перевели статью, автор который делится практическими советами при создании SLA. Они помогут лучше понять эту задачу. Автор касается вопросов: что измерять, как измерять где и, самое главное, какие целевые пороги установить.
Как получить сертификат CKA в 2023-2024 году
Не секрет что Kubernetes является де-факто стандартом для развертывания приложений и на специалистов со знанием Kubernetes существует стабильный спрос. Одним из самых востребованных сертификатов подтверждающих эту квалификацию является Certified Kubernetes Administrator или коротко CKA. В данной статье я делюсь своим опытом подготовки и прохождения экзамена CKA.
Bluetooth уже больше 25 лет. В Университете Сассекса разработали перспективную альтернативу беспроводной связи
Bluetooth уже четверть века, во что иногда сложно поверить. Кажется, что эта технология появилась в общем доступе лишь недавно. Но нет — она используется уже много лет и за прошедшие пару десятилетий стала незаменимой.
Тем не менее у Bluetooth есть недостатки, включая относительно высокое энергопотребление модуля и небольшой радиус действия. Ещё и информация передаётся медленно, так что этот тип связи идеально подходит для подключения различных устройств друг к другу, с низким объёмом передаваемых данных. Сейчас появилась интересная альтернатива. Давайте посмотрим, что там за технологии.
Строим NGFW: оптимальная архитектура и возможности решения
Зарубежные разработчики межсетевых экранов нового поколения (NGFW) покинули российский рынок, и перед многими компании встал вопрос реализации отечественного решения. Помня о законе Мёрфи, ещё на этапе разработке стоит подумать, что может пойти не так.
1. Закладки могут внедриться на уровне аппаратного обеспечения и прошивки.
2. ПО может быть компрометировано, например, через Open Source уязвимости.
3. Особо коварные алгоритмические закладки могут навредить сложным алгоритмам (например, шифрования).
4. Злоумышленник может обратить против нас квантовые вычисление или другие передовые достижения технического прогресса.
5. Преступники не поскупятся и реализуют высокозатратные атаки, ведь и экономическая эффективность (или ущерб) атак на объекты КИИ будут велики.
6. Злоумышленник достаточно точно предскажет архитектуру и реализацию нашего типового продукта.
7. Киберпреступник возьмёт измором: постоянно будет проверять и подбирать методы проникновения, ведь решение в неизменном сетевом доступе.
8. Рост вычислительных возможностей аппаратного обеспечения и пропускной способности контролируемых сетей приведут к необходимости масштабирования.
Ниже мы предложим оптимальную архитектуру и функциональность NGFW, построенного с учетом этих рисков и изменившейся ситуации на рынке ПО и оборудования.
Ближайшие события
Две метеостанции в Санкт-Петербурге: наблюдаем взрыв вулкана Хунга-Тонга-Хунга-Хаапай и не только
Метеостанция — один из самых интересных проектов, которые энтузиаст может собрать «на коленке». Метеостанция позволяет экспериментировать с различными датчиками, собирать статистику наблюдений и фиксировать интересные природные феномены. Как вам датчик влажности, который определяет значение через сельсин по натяжению свиной кожи?
В статье мы расскажем о двух метеостанциях с разными контроллерами и датчиками. Одна установлена рядом с Кронштадтским футштоком, она «видит» проходящие через пролив корабли и даже зафиксировала взрыв от извержения вулкана Хунга-Тонга-Хунга-Хаапай, принадлежащего к архипелагу Тонга в Полинезии. Вторая установлена в культурно-деловом пространстве «Севкабель».
Интересно? Ныряйте под кат
Обзор Helm Dashboard — графического интерфейса для управления Helm-релизами в Kubernetes
Часто разработчики предпочитают использовать именно визуальные средства, чтобы более эффективно управлять Helm-релизами в Kubernetes. Один из таких инструментов — Helm Dashboard. С его помощью можно самостоятельно создавать, развертывать, обновлять различные Helm-релизы Kubernetes-приложений и отслеживать их состояние.
В этой статье мы рассмотрим возможности и преимущества Helm Dashboard и разберем, как он может упростить задачи по управлению Helm-релизами в Kubernetes. Я расскажу про основные функции и интерфейс пользователя и покажу примеры использования этого инструмента.
Apache Spark… Это база
Apache Spark — это фреймворк для обработки и анализа данных, который позволяет выполнять операции на вычислительных кластерах и поддерживает несколько языков программирования: Scala, Java, Python, R и SQL.
В статье рассмотрим основные понятия для понимания обработки данных на Spark, разберем функционал его компонентов и сформируем DataFrame разными способами.
Виртуальная камера для WebRTC
Технология работы персонифицированной виртуальной вебкамеры для WebRTC: анимирование 3D модели пользователя в браузере для создания видеотрека, заменяющего камеру пользователя и синхронного с аудио от микрофона.
Память как у пингвина: Работа памяти в Linux
Что такое память и какие они бывают в Linux? Как с ней взаимодействовать? Каковы её особенности?
Как реализована память в ядре Linux? Как с ней работать?
Что такое кластеры, откуда в ядре Linux грязные и чистые страницы - читайте в этой статье!
Прорывная концепция ракетного двигателя
Быстрое освоение космического пространства столкнулось с проблемой, связанной с недостаточной эффективностью современных ракетный двигателей.
В качестве решения этой проблемы предложена концепция реактивного двигателя на новых принципах работы, использующий комбинацию известных физических законов и обладающий преимуществами перед известными типами реактивных двигателей.
Статья представляет собой результаты испытания трёх модификаций реактивных двигателей на новых принципах работы и их анализ. В статье рассмотрены физические принципы работы реактивного двигателя на новых принципах, его преимущества и проблемы, возникающие при его создании.
Георгий и хлебная фабрика
«Мужики! Я вам запрещаю выпускать меньше 200 тонн хлеба в сутки», — примерно это 92 года назад заявил Георгий Марсаков, и перевернул игру, создав инженерное чудо. Что же такого он придумал?
Давайте разбираться.