Elasticdump - это инструмент для управления и миграции данных в Elasticsearch. Elasticdump позволяет пользователям перемещать и сохранять индексы, экспортируя данные в файл JSON, а затем импортируя их в другое место. Эта функциональность особенно полезна для целей резервного копирования и восстановления, а также для миграции данных между различными средами (например, из разработки в продакшн).
Администрирование
Генерация beacon’ов под Linux для Cobalt Strike
CrossC2 - фреймворк, включающий в себя генератор beacon’ов для различных систем (Linux, MacOS и т.п.), а также набор скриптов для Cobalt Strike. В этой статье мы рассмотрим данное решение.
Terraform для инженерии данных
В облачной инфраструктуре вам на выбор предлагаются виртуальные машины (инфраструктура как услуга — IaaS) или бессерверные службы, такие как Azure SQL и Databricks. Мне кажется, что бессерверные сервисы не только обеспечивают гибкость, но и упрощают и конфигурирование системы, и её техническую поддержку. В этой статье будут показаны сильные стороны Terraform, надёжного инструмента для обслуживания инфраструктуры на уровне кода (IaaC). При помощи Terraform можно без труда обустроить облачную платформу для работы с данными.
Большие пакеты в Arch Linux
Немного занимательной статистики с боди-позитивными пакетами-рекордсменами в официальных репозиториях Arch Linux.
Истории
Cloudflare открыла код Rust-фреймворка для программируемых сетевых сервисов — Pingora
Мы гордимся тем, что открываем исходный код Pingora — фреймворка на Rust, который мы используем для создания сервисов, обеспечивающих значительную часть трафика в Cloudflare. Pingora выпускается под лицензией Apache 2.0.
Можно ли взломать хакера? Распутываем кибератаки с CTF-турнира. Часть 3
Привет, Хабр! Продолжаем путешествовать по CTF-турнирам. Из последних — 0xL4ugh CTF 24 от одноименной команды из Египта. В статье расскажу, как я решил задачи из категории DFIR (Digital Forensics and Incident Response) и web. Сохраняйте в закладки: пригодится как опытным, так и начинающим специалистам по информационной безопасности.
Дисклеймер: материал не обучает хакингу и не призывает к противозаконным действиям. Все описанное ниже лишь демонстрирует, какие пробелы в безопасности встречаются в реальных веб-приложениях. И предупреждает, на что нужно обратить внимание при разработке программного обеспечения.
Что такое переадресация портов Kubectl и как она работает?
Kubernetes — это платформа для оркестровки контейнеров, которая позволяет запускать и управлять контейнеризированными приложениями. Иногда необходимо провести отладку или протестировать приложение локально, но при этом не безопасно открывать его внешнему миру. В этом случае на помощь приходит команда kubectl port-forward
. Она позволяет перенаправлять трафик с вашего локального компьютера на под, в котором находится контейнеризированное приложение.
Перевели гайд о том, как использовать kubectl port-forward
для перенаправления сетевого трафика с нашего локального компьютера на под с веб-сервером nginx.
Wubuntu: Linux с интерфейсом Windows 11 и возможностью запускать «виндовый» софт. А ещё и Windows 95
Дистрибутивов Linux достаточно много — на любой запрос, вероятно, можно найти подходящий вариант. Не так давно появился ещё один дистрибутив, который внешне является почти полной копией Windows 11. Также он способен запускать Windows-программы и работает на относительно старых компьютерах и ноутбуках. Называется он Wubuntu, и подробности о нём — под катом.
Как мы построили систему анализа утечек паролей с хранением в ScyllaDB
В статье я расскажу о том, как мы построили систему для получения, анализа и сохранения утечек паролей. Рассмотрим архитектуру нашей системы, опишем основные компоненты и расскажем о нашем опыте использования ScyllaDB для задач оперативной загрузки большого количества накопленных утечек.
Как мы воплотили CI/CD в 1С, или зачем девелоперу непрерывные интеграция и поставка?
Распространённый подход к разработке — аккумулирование всех обновлений в единый пакет с последующим развёртыванием новой версии программного обеспечения. Это простая, понятная, отработанная годами схема, которая отлично подходит небольшим командам с маленьким количеством проектов и изменений. В больших проектах, когда к созданию кода привлечены несколько человек одновременно, это перестаёт работать — все ждут всех, задачи накапливаются, релизы становятся реже. И тогда на помощь приходит практика CI/CD.
Говорят, программисты делятся на два типа: тех, кто использует систему контроля версий, и всех остальных. В Sminex мы причисляем себя к первому типу. Причём, смеем утверждать, что мы один из очень немногих девелоперов, кто успешно внедрил практику CI/CD (Continuous Integration/Continuous Delivery, непрерывные интеграция и поставка) при работе с платформой 1С. Если вообще не единственный. Нам такой подход оказался крайне необходим.
Апгрейд ресторанов и кафе: превращаем холодильник в камеру дефростации
В ресторане с большой проходимостью разморозка — та еще задача: ее нужно делать быстро, но так, чтобы продукты не потеряли свои вкусовые качества.
Можно положить замороженные продукты в холодильную камеру +4 °C, но при этом ждать придется пару суток. На рынке есть камеры дефростации, но они либо очень маленькие для поездов/кораблей, либо очень большие для мясокомбинатов.
Как быть обычному ресторану? В статье мы рассмотрим камеру дефростации, которую сделали простым апгрейдом холодильной камеры. В результате удается размораживать продукты за 12-18 часов в щадящем режиме с температурами не выше +4 °C.
Интересно? Ныряйте под кат.
Удаленный доступ для доменных пользователей в Континент 4
В этой статье мы хотим подробно рассказать, как с организацией безопасного удаленного доступа может помочь решение «Континент 4» от российского вендора Код Безопасности.
Распределённые облачные системы хранения Filecoin и Storj
Когда-то файлы хранили на дискетах, потом на дисках, потом на флэшках. Закончилось всё облаками. Тогда встал ряд различных вопросов по надёжности и приватности. С одной стороны можно просто доверить файлы гуглу или яндексу, но тогда о приватности можно забыть. C другой стороны можно завести собственное облачное хранилище, будь то дорогое железное решение от Synology, или оперсорсное на арендованной vps на nextcloud, но тут требуется вовлечение, что бы облако оставалось в рабочем состоянии (следить за апдейтами, своевременно обновлять оборудование, поддерживать резервное железо). Вместе с развитием блокчейна и развитием децентрализованных технологий web 3.0, появились и облачные хранилища, обещающие приватность, доступность и низкую цену. Предлагаю к рассмотрению 2 проекта, которые появились более 10 лет назад, и до сих пор существуют - Filecoin и Storj.
Ближайшие события
Оранжевый k8s кластер на ладони
Сначала у меня появилась Orange Pi Zero 2 W, на пробу. Под планируемые задачи она не подошла, но 4 ядра и 4G памяти и размеры понравилось. Так же понравился Type-C и WiFi из коробки. Потом я вспомнил что давно хотелось just for fun попробовать собрать кубер на одноплатниках, а такой объём памяти и ядер уже даже позволяет идее иметь некоторый смысл. При этом wifi позволяет сделать кластер максимально без проводным, а размер позволяет соорудить кубический куб на ладони. И сегодня идея материализовалась.
Когнитивные искажения у аналитика данных: найти и починить
df.head()
— с этого момента вы начинаете работу с данными и полагаетесь на увиденное? Я тоже. Так мы наступаем в феномен what you see is all there is («что вижу, то пою, что не вижу, не спою» — вольный перевод). У ограниченного набора данных, возможно, отсортированного, мы видим ещё более ограниченный набор данных. Мы сами этого не понимаем, но дальше нашу работу строим только на увиденном.
Как починить себя? Принять как данность, что все подвержены когнитивным искажениям. От них нельзя избавиться полностью. Можно «пойти на компромисс: научиться распознавать ситуации, в которых возможны ошибки. И стараться избегать серьёзных ошибок, если ставки высоки». В этой фразе скрыт рецепт для нас: понимаем, где происходят значимые действия во время работы с данными → пробуем распознать «ситуации, в которых возможны ошибки» → придумываем, как можно избежать этих ошибок.
Я работаю с данными почти 20 лет, и из них семь набирала и растила джунов, три — наставник в Практикуме на курсе «Аналитик данных». По работам начинающих аналитиков (чужие ошибки проще увидеть, чем свои) я пробовала понять, где происходят «значимые действия» и «возможны ошибки» во время предобработки данных. В этой статье предложу свои варианты борьбы.
Туннелирование трафика через RDP-соединение
Всем привет, в этой статье пойдет речь о способе туннелирования трафика через RDP-соединение. Такой способ может подойти для тех случаев, когда мы нашли машину с доступом в новые сегменты сети, к которой есть возможность подключиться по RDP, но мы не можем подключиться к серверу chisel или прокинуть meterpreter оболочку из-за ограничений фаерволла. Именно в таких ситуациях можно использовать инструмент rdp2tcp.
rdp2tcp - инструмент для туннелирования трафика и проброса портов через существующую RDP-сессию. Сама работа инструмента устроена следующим образом (оригинал):
Mubeng — инструмент для ротации прокси-серверов
Очень часто для минимизации риска детектирования средствами защиты информации возникает потребность отправки большого количества запросов с множества IP-адресов.
Данный подход помогает обойти множество статических правил средств защиты информации, а также блокировку по большому количеству запросов.
Среди множества платных решений выделяется одна бесплатная разработка, позволяющая проводить гибкую ротацию прокси-серверов - Mubeng.
Как неПросто сделать холодный бэкап Postgres
File system level backup в Postgres это первое чему нужно научится при использовании Postgres . Никакие pg_dump \ pg_restore не заменят Полный бэкап на уровне файлов. File system level backup это первая ступень для подготовки к Continuous archiving. Понимание архитектуры хранения – это фундамент, по которому можно понять сможете ли Вы жить с Postgres на больших объемах или у Вас другой путь?
Вперед в будущее: Wayland против X11
Доброго времени суток, дорогие читатели! Сегодня я затрону одну интересную тему — графические дисплейные сервера и протоколы в Linux. В этой статье я расскажу вам о архитектуре X11 и Wayland, историю их создания и наконец-то сделаем вывод: Иксы на мороз, или вейланд на помойку?
Еще в далеком 2016 году вышла Fedora 25 с окружением GNOME 3.22 на базе дисплейного сервера Wayland. А в RHEL 10 выкинут X11 на мороз. Релиз RHEL 10 намечен на 2025 год, CentOS Stream 10 — на 2024 год. Для обеспечения работы приложений, требующих X11, будет использоваться XWayland. Таким образом, в 2029 году (к моменту окончания первого этапа поддержки RHEL 9) стоит ожидать появление первого аппаратного обеспечения, не поддерживающего X11.
И как я думаю — будущее за Wayland. Но пока X11 является стандартом. Давайте разберем это!
Нужно ли пересматривать модель open source — обсуждаем ключевые сложности и предложения сообщества
Разработчики открытого программного обеспечения долгое время пытаются «нащупать» баланс между коммерческой жизнеспособностью своих продуктов и идеалами open source. Некоторые решения, такие как переход на запретительные лицензии, вызывают серьезную критику со стороны сообщества. Мы в beeline cloud решили обсудить, что в индустрии думают о сценариях развития открытого программного обеспечения.