Привет всем Хабр-читателям. Про развертывание и настройку HA кластера PostgreSQL с помощью Patroni написано много полезных статей, однако я не нашел описания алгоритма его работы. В этой статье я хочу поделиться своим исследованием по данному вопросу.
Что я узнал на конференции DataOps Unleashed 2022
DataOps Unleashed — конференция, на которой обсуждают DataOps, CloudOps и AIOps, лекторы рассказывают об актуальных тенденциях и передовых методах запуска, управления и мониторинга пайплайнов данных и аналитических рабочих нагрузках.
Команда VK Cloud Solutions перевела конспект выступлений, которые показались полезны автору статьи. DataOps-специалисты ведущих ИТ-компаний объясняли, как они устанавливают предсказуемость данных, повышают достоверность и снижают расходы на работу с пайплайнами.
Как парсить транзакции Blockchain в папку Google Drive
В этой статье мы разберем транзакции биткоина и научимся очень быстро парсить RawTX из сети блокчейн в папку Google Drive все это поможет нам лучше понять, как работает транзакции биткоина и каково все её содержимое в сети блокчейн.
Для начала нам нужно знать, что все транзакции биткоина хранятся в [txid].
Port knocking и не только
Прочитав по диагонали статью гражданина @Winseven«ICMP открывашка портов для сервера», я сдержался. Все-таки велосипединг — это весело. Но вчитавшись, я опешил. Зачем запускать отдельное приложение для отслеживания нужных пакетов? Правильно ли, что достаточно один раз попасть пальцем в небо, чтобы порт был открыт? По мне, как-то не по фэншую.
Душа все это не вынесла, и я решился на статью.
Как изменить цвет текста в терминале Linux
Обычно вывод текста в терминале пользователя выглядит слишком монохромно. Однако добавить больше красок — совсем несложно. В данном скрипте я предлагаю вспомогательные методы для вывода текста, использования заданных цветов и работы с окнами терминала в тёмном и светлом режимах.
⬇️ Скачать color.zip — 2.7 KB (прим. редактора — потребуется регистрация на сайте)
Из арьергарда в авангард
Серия: Записки из будущего
«Перед нами открываются потрясающие возможности, замаскированные под неразрешимые проблемы» — Джон Гарднер, 1965
Казалось-бы, прошло не так много десятилетий с того самого 2022 года, но количественное и качественное изменение нашей цивилизации поражает. Попробую рассказать вам о том, как Россия из догоняющей страны стала ведущей, какие процессы происходили и что, по моему мнению, было ключевым в этих изменениях.
Общение в ритме Jazz: как мы создали сервис видеоконференций и продолжаем улучшать его
Привет, Хабр! Сегодня хотели бы поделиться историей разработки сервиса видеоконференций, рассказав о процессе создания продукта и его развитии. Итак, пару лет назад Jazz by Sber позиционировался и развивался как приложение для звонков между пользователями умных устройств Сбера. Довольно быстро он стал одним из основных сервисов для онлайн-общения внутри компании и быстроразвивающимся b2b-продуктом для массового рынка с AI и голосовым управлением.
Под катом рассказываем, как сервис взрослел и развивался, что сыграло решающую роль при выборе пути его развития, плюс какие технические сложности нам пришлось преодолеть для создания качественного продукта.
Есть ли кому-то дело до утечек персональных данных?
Мы в HFLabs в 2005 года обрабатываем персональные данные в промышленных масштабах. И решили провести опрос среди айти-специалистов по поводу крупных утечек.
Давайте все вместе выясним, есть ли кому-нибудь дело до недавних инцидентов. В последнее время данные массово утекли как минимум из «Яндекс.Еды», Delivery Club и Geekbrains. Пожалуйста, расскажите, насколько эти события затронули вашу компанию.
В форме всего 10 вопросов, на большинство достаточно ответить «Да» или «Нет» forms.gle/BtH19mhUpZ3CzBD17.
Опрос анонимный. Если оставите емейл, мы пришлем на него результаты. Но в любом случае выложим их в нашем телеграм-канале «HFLabs — о данных».
Подход к глобальной оптимизации, основанный на формировании мнений в сложных сетях
Методы метаэвристической оптимизации, основанные на использовании популяции, имеют множество применений в науке и технике. В данной статье представляется новый метод бинарной популяционной оптимизации, основанный на формировании консенсуса во взаимодействующих многоагентных системах. Агенты, каждый из которых связан с вектором мнений, связаны друг с другом через сетевую структуру. Агенты влияют друг на друга, взаимодействуя, и в результате их мнения эволюционируют. Векторы мнений содержат решения проблемы и в то же время хранят дополнительную информацию об опыте взаимодействия агентов. Агенты взаимодействуют и работают сообща, чтобы решить задачу оптимизации. В данном исследовании рассматривается конкретное правило обновления мнений и различные базовые топологии сетей взаимодействия.
Результаты экспериментов, проведенных с рядом контрольных функций затрат, показывают, что динамическая кольцевая топология, разработанная для нашей конкретной цели, приводит к лучшей производительности по сравнению с другими сетевыми топологиями. Также сравнивается производительность предлагаемого алгоритма оптимизации с классическими и современными оптимизаторами основанные на популяции, а именно с Генетическим алгоритмом, Оптимизацией Роя частиц с Бинарной гибридной топологией, Оптимизацией Роя частиц с выборочным информированием, Дифференциальной эволюцией с бинарным обучением и Дискретной Искусственной Пчелиной Колонией. Сравнения, основанные на экспериментальном анализе, показывают, что предлагаемый оптимизатор, основанный на консенсусе, является наиболее эффективным.
Как внедрить Site Reliability Engineering (SRE) в компании
В статье разбираемся, зачем компании Site Reliability Engineering (SRE) и когда его применять. Также здесь расписаны шаги, которые помогут обычному инженеру или разработчику внедрить SRE в своей компании.
Cisco UCS C220 (Fabric Interconnection 6842) + Dell EMC VNX 5300
Началось с того, что у меня развалилась FS — подробнее тут. Бэкапов, конечно же, нет.
Как определил? Потребовалось прокинуть новый VLAN, а он прокидывается только Cisco UCS Manager далее (CUM). Перезагрузил Fabric B, она в варнинге (warning), подключился консольником и увидел ошибку, спустя 7 месяцев раздобыл ресурсы для того, чтобы все виртуалки перенести на другие сервера. Перенёс VM, перезагрузил Fabric A, и ВСЁ!!! Больше ничего не загрузилось.
Для меня этот зверь был необуздан, поэтому много искал и читал…
Для начала требуется скачать с оф. сайта прошивку. Несмотря на то, что у меня Interconnection 6248, прошивку скачивал для 6100 Series. Распаковал bin файл через 7zip и достал:
- ucs-6100-k9-kickstart.5.2.3.N2.2.23e.bin;
- ucs-6100-k9-system.5.2.3.N2.2.23e.bin;
- ucs-manager-k9.2.2.3e.bin.
Поставил ноут, загрузился с Ubuntu, нажав при загрузке «Попробовать сейчас» (Try now), скачал и запустил SSH demon, потом установил статичный ip, подключился в первую фабрику.
web3 не будет: расходимся по домам
Я тут набрела на январскую статью основателя Signal app [мессенджер, конфиденциально безопасно оупенсорс].
Если коротко, смысл статьи следующий: ребят, ну хватит писать кипятком от вашего веб3 — это же сказки.
Чтобы нас с вами вразумить, Moxie сделал два dApp (ну все конечно было не совсем так: нет Мокси до нас никакого дела, он это сделал по приколу).
ВКС-дайджест: игры и саботаж в Microsoft Teams, смартфоны вместо камер, борьба с эхом
Свежий выпуск про видеоконференцсвязь и AV-технологии.
Black-box тестирование сотовой сети: как операторы защищают абонентов от хакерских атак
В статьях о SS7 и Diameter улавливаются панические нотки: протоколы сотовой связи похожи на решето, от них нельзя взять и отказаться, их не исправить. И все же, телеком-апокалипсис до сих пор не случился. Сотовые сети работают, но каким образом?
Мы проверили, как и насколько эффективно сотовые операторы защищают сигнальные сети от хакеров. Один из мобильных операторов, работающих на территории СНГ, заказал две серии атак на свою сеть. Мы провели пентест до и после внедрения некой продвинутой защиты и готовы поделиться инсайдами.
Думаю, широкой публике будет интересно узнать, какие атаки возможны на практике, и что делать для защиты личных данных. Специалисты увидят в этом посте рассказ об одном из первых black-box тестов сигнальных сетей в СНГ.
Helmwave — еще один инструмент для деплоя helm-чартов
Для деплоя приложений в Kubernetes существует огромное количество различных инструментов. Если посмотреть на соответствующий раздел в CNCF Landscape, то можно потеряться в разнообразии. Поэтому иногда хорошо иметь в своем арсенале «серебряную пулю», которая подойдет для большинства задач. Helmwave вполне может стать именно таким инструментом.
ICMP открывашка портов для сервера
Имею парочку VDSок для различных нужд (почта, веб-сервер, хранилка и т.п.) так вот, возникла необходимость скрывать порты (22, 443 и т.п.) от посторонних глаз. Немного подумав, а идея уже не новая, решил написать простенький, так сказать, ICMP knocker, то есть открытие портов по пингу. Но пингу не простому, а с определенным размером пакета. Пример для линукс:
ping -s 999 -c1 mysrv.com
Где -s - размер отправляемого сообщения, -с количество.
Оборачиваем API с помощью httr2
Обычное использование httr2
— это создание обёртки над каким нибудь API и предоставление его в виде R пакета, в котором каждая конечная точка API (то есть URL-адрес с параметрами) становится функцией. Эта статья поможет разобраться, как начать с очень простого API, не требующего аутентификации, а затем постепенно приводимые примеры будут усложняться.
40 релизов в неделю при разработке государственного Amazon или почему Agile is dead
Что бы вы сказали, если бы вам потребовалось срезать косты вашей команды разработки в два раза? А если бы пришел босс и потребовал делать в два раза больше той же командой? Обычно интуиция нас подводит и мы в ответ на эти вопросы делаем не то, что нужно - в итоге только ухудшаем ситуацию. Самое интересное, что значительно улучшить результаты можно потратив относительно небольшие усилия - что же это за бесплатный сыр такой? Как это связано с релизами? От какого важного элемента Agile мы заодно отказываемся? Ответы на эти вопросы я попробую дать в своей статье.
Кластеры из коробки
Привет! Меня зовут Юра, я работаю в компании Кристалл Сервис Интеграция, занимаюсь доставкой софта нашим клиентам и пишу плейбуки. Я расскажу, почему мы используем модель On-Premise, какие инструменты применяем и с какими проблемами сталкиваемся. Моей целью не будет детальное описание наших методов и предоставление точных рецептов (это я оставлю на потом, тем более, что мы и сами находимся в постоянном поиске и оптимизации). Думаю, коллеги ДевОпсы (да, да, я знаю, что ДевОпс — не человек, а пароход) захотят технических подробностей, а каких конкретно — надеюсь выяснить по результатам, чтобы в дальнейшем удовлетворить их интерес.
Нюансы установки сторонних прошивок на Android-смартфоны. Устанавливаем сustom ROM
Доброго времени суток, дорогой читатель! С момента нашей последней встречи прошло более полугода и за это время произошли некоторые новшества для тех, кто увлекается кастомизированием своих устройств под управлением Android.
Это вторая часть из цикла статей о премудростях перепрошивки и кастомизации. В ней мы разберем, какие стабильные проекты прошивок есть на данный момент, как выбрать и установить систему, не превратив свой девайс в кирпич, как установить необходимые компоненты Google при необходимости и подружить всё это с бдительными приложениями, вроде банковских.