Как стать автором
Обновить

Администрирование

Сначала показывать
Порог рейтинга
Уровень сложности

Как бизнес-аналитику выстроить работу в проектах DWH (Data Warehouse). Структура работ

Время на прочтение 6 мин
Количество просмотров 94

Привет, аналитики!

В прошлый раз мы разобрались, как бизнес-аналитику наладить взаимодействие со стейкхолдерами и превратить их противоречивые требования в единую систему.

Сегодня я хочу поговорить о дальнейшей работе аналитика в проектах по созданию хранилищ данных (DWH). Как пройти весь путь от сбора требований до внедрения готового решения, сохраняя баланс интересов бизнеса и ИТ.

Мы уже выяснили потребности пользователей и достигли консенсуса по целям системы. Теперь предстоит воплотить эти требования в реальное DWH. И здесь нас ждет не меньше подводных камней, чем на этапе согласования.

Как избежать недопонимания между бизнесом и ИТ в ходе проектирования? Как убедиться, что разработанное решение действительно решает задачи заказчика? И как помочь пользователям безболезненно перейти на новую систему?

Читать далее
Всего голосов 1: ↑0 и ↓1 -1
Комментарии 0

Новости

Мы добрались до ядра, или новые возможности AmneziaWG

Время на прочтение 6 мин
Количество просмотров 1.4K

Добрый день! 

На связи команда разработчиков Amnezia. 
Обычно наши статьи посвящены оригинальному клиенту Amnezia, но сегодня мы будем упоминать AmneziaVPN весьма косвенно, так как речь пойдет в первую очередь о протоколе AmneziaWG и о связанных с ним проектах. Мы расскажем про нативный клиент AmneziaWG. Как из конфигурации с протоколом WireGuard сделать AmneziaWG, и как развернуть свой VPN с AmneziaWG  на сервере без приложения.   

Честно говоря, мы не ожидали столь высокой заинтересованности протоколом. Нам известно, что некоторые коммерческие VPN уже продают конфигурации с готовым VPN решением, где в качестве протокола, используют AmneziaWG вместе с приложением Amnezia. AmneziaVPN - это open source проект, который могут использовать для VPN, в том числе и для коммерческих VPN решений все желающие,  мы надеемся, что эта тенденция будет продолжаться. 

Также ,нам стало известно, что некоторые очень популярные производители интернет - оборудования будут поддерживать AmneziaWG, чему мы тоже очень рады. Мы уже писали об AmneziaWG в прошлых статье, но для дальнейшего рассказа важно напомнить о принципе его работы.  

О работе AmneziaWG.

AmneziaWG - это форк протокола WireGuard. Мы взяли за основу WireGuard и сделали часть параметров этого протокола ( по которым его обычно и распознают системы DP)I - настраиваемыми, то есть  если оставить эти параметры по умолчанию (равными 0), то AmneziaWG будет работать  как обычный WireGuard. 

В AmneziaWG изменены заголовки всех пакетов:

Читать далее
Всего голосов 15: ↑13.5 и ↓1.5 +12
Комментарии 6

Настраиваем Windows WSL для локальной разработки Laravel

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 846

Всем привет! В этой небольшой статье я очень сжато расскажу, как правильно настроить WSL в Windows 11 для локальной разработки Laravel-приложения. Мы собираемся установить php, mysql, nginx и composer, а также отредактирьвать файл hosts в самом Windows. Заранее прошу не гневаться на меня поклонников Docker, здесь я рассказываю именно про WSL.

Итак, без лишних промедлений, приступим. И начнем с того, что, как мы предполагаем, у нас есть Windows и всё. Если WSL уже установлен, львиную часть статьи можно пропустить.

Убедитесь в том, что у ваша версия Windows совместима с WSL.

Читать далее
Всего голосов 4: ↑2 и ↓2 0
Комментарии 8

Строим lineage моделей машинного обучения и признаков с помощью OpenMetadata

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 203

Привет, Хабр!

Мы в билайне любим машинное обучение. В какой-то момент моделей машинного обучения стало так много, что это вынудило нас решать определенные задачи. Я Дмитрий Ермилов, руковожу ML в дирекции по искусственному интеллекту и цифровым продуктам. О решении одной такой задачи и будет этот рассказ.

Давайте представим, что у вас в компании большое количество моделей машинного обучения, каждая из которой может зависеть от нескольких десятков до нескольких тысяч признаков (фич). Причем разные модели могут зависеть от одних и тех же фич. Неожиданно случается несчастье, и одна из популярных фич ломается. Может произойти поломка на уровне подготовки данных, могут измениться внешние источники, отвалиться интеграции и прочее. Что делать с этим знанием? Конечно, бежать в продуктовые команды и кричать, что модели, которые зависят от этой фичи, могут деградировать, то есть их метрики качества могут снизиться. Вопрос только в том, какие модели могут деградировать и в какие команды бежать?

Напомним, в каких условиях мы анализируем данные и строим модели машинного обучения.

Читать далее
Всего голосов 3: ↑4.5 и ↓-1.5 +6
Комментарии 0

Истории

Как я победил ЧПУ (CNC) станок (2 часть)

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.1K

И снова всем привет! Благодаря первой части я получил полезный для меня фидбэк, поэтому решил продолжить свою деятельность по написанию статей.

Сегодня про драйвера и про настройку прошивки.

Что было дальше?
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 1

Реализация Multiple sources Argo CD + ChartMuseum для 10 однотипных микросервисов

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 333

Приветствую! Меня зовут Ксения, и я — DevOps инженер компании Smartex. 

Я люблю создавать инфраструктуру и процессы, которые помогают разработчикам и операционной команде быть более эффективными и продуктивными. 

Если ваша повседневная рутина связана с множеством однотипных микросервисов и разнообразными средами, данная информация может быть для вас полезна. Материал рассчитан на Junior+ и Middle DevOps специалистов.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 2

HashiCorp обвинила сообщество OpenTofu в краже кода Terraform, но что-то пошло не так

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 5.7K

3 апреля на сайте InfoWorld вышла статья известного публициста на тему Open Source и юриста Matt Asay под названием «OpenTofu, возможно, демонстрирует нам, как не надо делать форк». Лидер-абзац в статье довольно жёсткий: 

Не согласны с лицензией? Просто сделайте форк проекта, но не выкидывайте его код — говорите, что он всегда был доступен публично. Сравните код и лицензию HashiCorp с версией OpenTofu.

Разберемся в этой истории последовательно — кто прав, кто виноват и чем всё закончилось.

Читать далее
Всего голосов 26: ↑31.5 и ↓-5.5 +37
Комментарии 15

Любовь в каждой атаке: как группировка TA558 заражает жертв вредоносами с помощью стеганографии

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 1K

Приветствую! И снова в эфир врывается Александр Бадаев из отдела исследования киберугроз PT Expert Security Center. Но на этот раз мы работали в паре с Ксенией Наумовой, специалистом отдела обнаружения вредоносного ПО, недавно рассказывавшей читателям Хабра о трояне SafeRAT. Пришли к вам с новым исследованием о… не самой новой хакерской группировке, но зато использующей уникальнейший метод сокрытия вредоноса да к тому же еще романтически❤️настроенной. Но обо всем по порядку!

Итак, мы выявили сотни атак по всему миру с использованием широко известного ПО, среди которого: Agent Tesla, FormBook, Remcos, Lokibot, Guloader, SnakeKeylogger, XWorm, NjRAT, EkipaRAT. Хакеры строили длинные цепочки кибернападений и использовали взломанные легитимные FTP-серверы в качестве С2-серверов, а также SMTP-серверы как С2 и сервисы для фишинга.

Злоумышленники активно применяли технику стеганографии: зашивали в картинки и текстовые материалы файлы полезной нагрузки в виде RTF-документов, VBS и PowerShell-скриптов со встроенным эксплойтом. Интересно, что большинство RTF-документов и VBS в изученных атаках имеют, например, такие названия: greatloverstory.vbs, easytolove.vbs, iaminlovewithsomeoneshecuteandtrulyyoungunluckyshenotundersatnd_howmuchiloveherbutitsallgreatwithtrueloveriamgivingyou.doc. Все наименования связаны со словом «любовь», поэтому мы и назвали эту операцию SteganoAmor.

Изучив все детали и существующие исследования, мы атрибутировали атаки: их совершала группировка TA558. В зафиксированных случаях кибернападений группировка целилась в организации разных стран, несмотря на то что приоритетным регионом для нее является Латинская Америка.

🤔Кстати, помните, как один знаменитый вирус наделал в свое время много шуму? Он немного связан с темой нашей статьи. Тому, кто первый ответит, что это за вирус и какие записи в реестре Windows он создавал, традиционный респект от команды PT ESC и подарок.

Читать историю любви
Всего голосов 4: ↑5 и ↓-1 +6
Комментарии 2

Chaos engineering: проверяем устойчивость Vault с помощью Gremlin

Время на прочтение 11 мин
Количество просмотров 274

Chaos engineering — это подход к проверке устойчивости приложений. Грубо говоря, мы умышленно ломаем что-либо в системе, чтобы посмотреть, как она будет себя вести, и делаем из этого эксперимента полезные выводы о надёжности и уязвимостях.

Перевели статью, о том, как применить этот подход к HashiCorp Vault — системе по управлению секретами.

Читать далее
Всего голосов 3: ↑4 и ↓-1 +5
Комментарии 0

Недорогие серверные конфигурации, GPU, образы Astra Linux и другие апдейты за март

Время на прочтение 4 мин
Количество просмотров 1K

Последний снег растаял, расцвели новые конфиги, показались IT-мероприятия, запели мартовские фичи.

Привет! Я — Дима, технический писатель в Selectel. В новом дайджесте расскажу о наших продуктовых обновлениях за месяц и поделюсь записью вебинара. А в конце вас ждут приглашения на апрельские мероприятия.
Читать дальше →
Всего голосов 6: ↑7.5 и ↓-1.5 +9
Комментарии 4

CPU планировщики в Linux

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 2.4K

В статье будет рассказано про основные алгоритмы, которые ядро Linux использует для планирования задач, готовых к выполнению. Как влияет приоритет задач и указанная для неё политика на то, как она будет получать процессорное время и сколько.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0

Бесшовность 2.0: как работает шардирование в Сбере

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.6K

Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостность данных сохраняться, даже если вход совершен в двух каналах параллельно. И в идеале — так, чтобы клиент не видел «внутренней кухни».

Меня зовут Владимир Паршин, я ведущий ИТ-инженер в СберТехе. Расскажу, как выстроена работа с бесшовностью в Сбере.

В статье будет про драматичное прошлое, Джастина Бибера и балансировку нагрузки. А главное — про то, какие решения СберТеха под капотом банка сейчас обеспечивают обработку данных огромного числа клиентов и сотрудников.

Читать далее
Всего голосов 6: ↑7.5 и ↓-1.5 +9
Комментарии 3

Потенциальные проблемы с автоинкрементным ключом. MySQL <8.0, PostgreSQL

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.1K

В данной публикации я поделюсь двумя основными причинами, по которым я предпочитаю избегать использования автоинкрементных полей в PostgreSQL и MySQL в будущих проектах. Вместо этого я предпочитаю использовать UUID-поля, за исключением случаев, когда есть очень веские аргументы против этого подхода.

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 17

Ближайшие события

PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн
Weekend Offer в AliExpress
Дата 20 – 21 апреля
Время 10:00 – 20:00
Место
Онлайн

История терминала как инструмент продуктивности

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 1.9K

Если вы достаточно часто работаете в командной оболочке/терминале — это значит, что со временем история команд станет вашим личным хранилищем знаний, вашим справочником по командам и по документации. Возможность эффективно пользоваться этим личным хранилищем полезной информации может сильно повысить продуктивность вашего труда. Поэтому представляю вашему вниманию несколько советов относительно того, как оптимизировать настройки истории оболочки и как пользоваться этим инструментом на полную мощность.

Читать далее
Всего голосов 7: ↑9 и ↓-2 +11
Комментарии 1

Кейс: медицинский центр «УГМК-Здоровье» оснащен совместным решением Qbic и iRidi

Время на прочтение 4 мин
Количество просмотров 427

Оснащение екатеринбургского медицинского центра "УГМК-Здоровье" — наш новый интересный кейс по развертыванию систем автоматизации на базе оборудования Qbic.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 2

Сетевые проблемы – одна из основных причин сбоев в ИТ-сервисах и ЦОД. А что еще?

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 850

Согласно ежегодному опросу и проведенному по его итогам анализу сбоев за последний год от Uptime Institute проблемы с сетью и связью как самую распространенную причину сбоев в ИТ-сервисах указали 31% из 442 опрошенных респондентов. А что еще отметили респонденты и что повлияло на аварийные отключения и сбои ИТ-сервисов и ЦОД за последнее время?

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Перенести проверенную схему бэкапа больших данных из S3 в Yandex Cloud: опыт Битрикс24

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 778

Меня зовут Александр, я руковожу направлением больших данных в Битрикс24. Клиенты нашего сервиса хранят миллиарды файлов: от документов до фотографий, — а моя команда предоставляет возможность строить бизнес-аналитику на основе этого множества данных. И нам важно позаботиться об их сохранности.

Более 10 лет назад мы продумали необходимую нам схему репликации объектного хранилища в облаке. Затем файлы клиентов потребовалось перенести в другое облако, и нам очень хотелось также перенести все наши наработки в режиме «Ctrl+C, Сtrl+V».

В статье расскажу, как мы организовали резервирование данных в парадигме слабого связывания и как перенесли эту схему в Yandex Cloud без потери важных нам деталей.

Читать далее
Всего голосов 11: ↑13 и ↓-2 +15
Комментарии 1

Что такое Архитектура

Время на прочтение 5 мин
Количество просмотров 2.5K

Существует множество определений термина "Архитектура ПО", от устаревших и неформальных до слишком абстрактных и претендующих на остроумие. К примеру, можно упомянуть сайт Института Программной Инженерии (SEI) Университета Карнеги-Меллона, в электронной библиотеке которого есть соответствующий документ.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 0

Spark. План запросов на примерах

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 518

Всем привет!

В этой статье возьмем за основу пару таблиц и пройдемся по планам запросов по нарастающей: от обычного селекта до джойнов, оконок и репартиционирования. Посмотрим, чем отличаются виды планов друг от друга, что в них изменяется от запроса к запросу и разберем каждую строчку на примере партиционированной и непартиционированной таблицы.

Читать далее
Всего голосов 3: ↑3.5 и ↓-0.5 +4
Комментарии 0

Первый опенсорсный LTE-сниффер с полной функциональностью

Время на прочтение 4 мин
Количество просмотров 12K

Базовая станция LTE

В интернете много инструкций, как оборудовать собственную станцию LTE. Сети 4G становятся массовой и доступной инфраструктурой для передачи данных. И важно понимать, какие угрозы безопасности существуют в этой области, как перехватывать и анализировать трафик.

Устройства для прослушивания трафика LTE до недавнего времени имели ограниченную функциональность и не могли анализировать все служебные данные. Однако в прошлом году инженеры из Корейского института передовых технологий (KAIST) опубликовали исходный код первого в мире опенсорсного сниффера LTESniffer с полным набором функциональных возможностей, включая декодирование трафика PDCCH и PDSCH.
Читать дальше →
Всего голосов 18: ↑20 и ↓-2 +22
Комментарии 6