S3 – это один из сервисов, который используется для построения Data Lake и обмена файлами.
В этой статье рассказывается о технологии S3 со стороны дата-инженерии.
Мы в статье рассмотрим как развернуть сервис, как им пользоваться и зачем он нужен в дата-инженерии
Ситуация - два Hyper-V сервера, десяток виртуалок, на каждый Hyper-V установлен VBR CE, бекапы хранятся на соседних дисках + раз в неделю каталоги с бекапами синхронизируются со стареньким NetGear NAS.
Казалось бы - что тут может пойти не так??!! Да все! Несмотря на то, что Hyper-V не в домене - сломать его по сети вполне реально, если злоумышленник попадет хотя бы на одну рабочую станцию (или подключится по WiFi). NetGear NAS уже устарел, прошивка содержит известные уязвимости. В общем бекапы не защищены и в случае атаки изнутри - шансы получить проблемы весьма велики.
Решение - делаем отдельный хакеро-защищенный NAS на базе Debian Linux 12 + iptables + скрипты от ChatGPT4.
Отправляем запрос на 20 000 000 евро, на перестановку 900 ордеров на бирже. Что может пойти не так?
Сегодня я расскажу, как не терять пару миллиардов клиентских денег, когда уж очень нужно что-то массово сделать на бирже. Этот текст про неявную и, казалось бы, незаметную проблему, которая ждет нас в недрах работы с любыми запросами, которые могут исполниться не до конца – в частности, с HTTP-запросами. Удивительно, как мало об этой проблеме думают и насколько мало инструментов для её решения.
Задача была такова – реализовать массовое управления биржевыми ордерами, причём не только в рамках одной биржи, а в целом по всей планете. И чтобы оно точно отработало.
В повествовании будут клиенты, серверы и котики. С котиками всегда интереснее.
Всем привет, меня зовут Пётр. В первой части этого цикла статей мы взглянули на некоторые базовые концепции ClickHouse. В этой же статье продолжим изучать тонкости работы с этой колоночной базой данных и подробно рассмотрим такой аспект как репликация. А ещё разберёмся с сервисами координации Zookeeper и ClickHouse Keeper.
Всем привет!
В этой небольшой статье я опишу простой способ, как можно автоматизировать 10 000+ ручных протыкиваний мышкой или клавиатурой на нескольких удаленных Linux-машинах (Xserver + SDDM).
Допустим, есть в нашем распоряжении некоторый парк машин, на которых нужно проделать руками очень долгую и однотипную рутину, состоящую из примитивных действий с клавиатурой и мышкой. Задача облегчается наличием доступа по VNC, если машин хотя бы меньше 50 и клацать не так уж и много.
А если нет?
Наш бизнес - это контрактная разработка продуктов, промышленный дизайн, помощь в постановке продуктов на производство.
Работаем с самыми разными продуктами: электроника, машиностроение, фарм, мебель, продукты питания, FMCG, станкостроение, транспорт, реабилитационное оборудование, IT, банковские и страховые продукты... - подходы к созданию всех продуктов очень похожие, поэтому мы намеренно избегаем продуктовой специализации, а тонкие компетенции привлекаем в виде внешних команд.
По работе и в целях обучения посещаем много компаний в Европе, Северной Америке, Юго-Восточной Азии, где процессы создания и запуска новых продуктов поставлены на высокоэффективный уровень.
Некоторым клиентам помогли выстроить NPD* - процессы, и оргструктуры, речь идёт о компаниях, которые поработав с нами захотели выстроить эффективные продуктовые процессы внутри своих компаний.
Наверное, истории про докер и контейнеризацию уже набили вам оскомину.
Да и я по докеру уже написал учебный курс и статью про всякий self hosted, однако сегодня я расскажу про забавный пример использования контейнеров - для запуска и обновления древних веб сервисов.
Будет два живых примера:
Медиавики, вики-движок на PHP, древняя инсталляция - обновляем с версии 1.24 от сентября 2014 года.
Забавный инструмент для генерации комиксов в стиле xkcd, написанный на Node.JS, и в последний раз обновлявшийся в марте 2013 года. Поднимаем и исследуем. Будут внезапные сюжетные повороты, и трагическая концовка.
Интересно, как воскресить эти артефакты древности? Тогда погнали!
Есть отличный термин self hosted, который очень популярен в англоязычном интернете.
Но он плохо переводится, почти как open source - хотя википедия и пытается дать ужасно звучащий термин "самохостинг"...
Как ни странно, на Хабре нет про него обзорных статей, и даже нет соответствующего тега, хоть я и искал.Возможно, плохо искал, и вы кинете в комментарии что-то хорошее.
В общем, self hosted - это когда вы решаете, что какие-то вещи лучше хранить у себя, а не отдавать злым корпорациям - фотографии, почту, умный дом, книги, и так далее.
И собираете под это какой-то сервер, полноценным хозяином которого являетесь только вы.
Эту статью я пишу во многом для нескольких друзей, которые решили приобщиться к этому тренду, и здесь будет обзор моего личного self hosted - про всякие разные штуки, которые показались полезны лично мне, и плотно заняли своё место на моём домашнем сервере.
На хабре много опытных пользователей, так что если вам что-то кажется очевидным - смело листайте дальше. Здесь есть много классных подробных статей, которые идут в глубину, а в этой статье я хотел дать общее представление, куда вообще можно копать и что делать.
Не так давно я написал заметку, где дал исторический очерк жизненного цикла Windows 10, рассказал о том, когда выходили разные версии (а их было как минимум 14) и до какой даты осуществляется обновление. Там же я давал рекомендации тем, кто не собирается переходить на Windows 11, как им получать обновления на свою Windows 10 еще более семи лет, до 13.01.2032.
Сегодня у меня задача понятным языком рассказать вам о Windows 11. Всегда непросто описывать современные системы и их текущие версии, - во-первых они слишком быстро меняются, обновляются, устаревают, а, во-вторых, просто накоплено не так много исторических знаний и опыта, что делает суждения более поверхностными и спорными. Для начала я расскажу о глобальных версиях Windows 11, - их всего 4 (в трех ветвях обслуживания). Потом остановлюсь на том, что такое «Моменты» в терминологии Microsoft, когда эти моменты наступали для Windows 11 и что они приносили. Далее я еще усложню рассказ тем, что раскрою секрет Полишинеля, - Microsoft вводит новый функционал не только в новых версиях ОС, не только некими специальными пакетами «моментами», но и простыми кумулятивными обновлениями. Расскажу о том, какие веховые обновления приносили нововведения в ОС (очевидно, что все последующие включают в себя все предшествующее). Ну и чтобы сделать заметку окончательно нечитаемой для рядового пользователя, но, чтобы энтузиасты как раз таки дочитали ее до конца, расскажу, как задействовать новый функционал в Windows 10 и Windows 11, который Microsoft еще автоматом не сделал общедоступным. И что самое важное, расскажу, как отключить новый функционал, если вы предпочитаете классическую реализацию (если такая бинарно еще сохранилась в ОС). Ну что, поехали?
Денис Терехов, тимлид в Яндекс Еде, рассказал на митапе для разработчиков в Новосибирске о том, как его команда помогла курьерам быстрее доставлять заказы.
В 2024 году начал ощущаться дефицит курьеров, особенно зимой. Чтобы сервис работал как обычно, нужно было привлечь новых или повысить эффективность уже существующих — то есть сделать так, чтобы они могли доставлять больше заказов за меньшее время. Так команда Дениса решила дать курьерам велосипеды, и вот что из этого вышло.
Моя домашняя лаборатория подключена к интернету через маршрутизатор с прошивкой OpenWRT. Развертывая локальный ACME сервер, я понял, что, независимо от применяемого типа валидации запросов, ACME должен найти в DNS полное доменное имя сервера, для которого запрошен сертификат.
В размышлениях, где же стоит хостить свою приватную DNS зону, меня озарило: «Но у нас уже есть дома DNS-сервер в OpenWRT. Наверняка можно удаленно обновлять записи в его локальной зоне».
Облачные сервисы предоставляют пользователям разнообразные услуги, такие как предложение программного обеспечения, платформ и инфраструктуры для различных задач бизнеса. При выборе архитектуры для приложений, размещаемых на облачных платформах, важно учитывать специфику задач, которые компания планирует решить с их помощью. Для различных видов бизнес‑задач требуются разные архитектуры облачных приложений. Например, для выполнения ресурсоемких вычислительных задач, таких как имитационное моделирование и обработка больших объемов числовых данных используют архитектуру «Большие вычисления», позволяющую реализовать использование вычислительной мощности тысячи ядер. Для относительно простых задач, которые могут быть требовательны к вычислительным ресурсам, используют тип архитектуры «Веб‑интерфейс — очередь — рабочая роль». Для обычных бизнес‑приложений, не требующих частых обновлений, подходит N-уровневая архитектура с горизонтальными уровнями, разделенными подсетью.
Привет, Хабр! Меня зовут Павел Криницин. Я работаю на крупном металлургическом предприятии по производству и переработке алюминиевой продукции, где слежу за работой оборудования. В этой статье я расскажу, как мы исследовали способы раннего диагностирования повреждений конвейерных лент с применением компьютерного зрения. Эта статья будет полезна широкому кругу специалистов, занятых в различных областях промышленности, где применяют конвейерные транспортные системы. Описанные в статье подходы делают диагностику оборудования и поиск дефектов более точными, а планирование ремонтных работ — более эффективным.
В программировании микроконтроллеров на выходе получается довольно много артефактов. Всё это надо как-то связать и заточить в архив, чтобы всегда можно было ассоциировать *.hex с нужным для него *.map и *.elf.
Логичным шагом будет являться архивация всех этих файликов в *.tar архив. Также один архив очень удобен при транспортировке программного обеспечения.
В этом тексте я написал как это можно сделать средствами GNU Make.
Привет, Хаброжители!
В современном мире данные уже стали одним из самых ценных ресурсов. Они помогают принимать обоснованные решения, прогнозировать будущее и оптимизировать процессы. Но для этого необходимо не только хранить большие объемы данных, но и уметь их эффективно обрабатывать. В этой статье я хочу начать рассматривать то, зачем это нужно и какие инструменты на Python помогут справиться с задачей. Также я покажу, как большие данные используются в маркетинге. Я планирую сделать небольшой цикл статей с инструментами, которые могут быть полезны бизнесу и это первая статья из цикла.
А вы используете большие данные?
Всем привет! Я Артем Ибрагимов, руководитель направления в управлении разработки цифровых продуктов в Первой грузовой компании. Одна из составляющих работы любого продукта – это техподдержка. В ПГК есть несколько флагманских цифровых сервисов, где наши IT-специалисты на постоянной основе решают различные вопросы и проблемы пользователей. Ранее я подробно рассказал о работе техподдержки одного из наших продуктов – личного кабинета клиента (ЛКК) и оперативном решении возникающих задач. Сегодня поговорим о техподдержке не только ЛКК, но и других наших флагманских продуктов, а также об обратной связи по клиентской помощи.
Разработка систем искусственного интеллекта и обучение моделей подразумевает взаимодействие с огромными сводами неструктурированных данных — например, текстом и изображениями. Решать эту задачу помогают векторные БД. Они работают с так называемыми векторными представлениями (эмбеддингами), имеют продвинутые алгоритмы индексирования и особенно эффективны для реализации поиска по сходству.
Учитывая популярность темы машинного обучения, новые векторные СУБД появляются чуть ли не каждый день. Мы сделали подборку open source решений, о которых мало рассказывали на Хабре: от крупных проектов вроде Qdrant до малоизвестных продуктов.
Векторные базы данных можно развернуть в облаке, обеспечивая мощную инфраструктуру, которая значительно улучшает управление крупномасштабными и сложными данными. На виртуальную инфраструктуру MWS сейчас действует скидка 50%.
🔥 Атака As-rep Roasting позволяет злоумышленнику воспользоваться отключенной преаутентификацией Kerberos для пользователя с целью компрометации УЗ.
Но как она устроена и какие есть артефакты для её детекта?
