Расскажем, как решить задачу кастомной маркетинговой аналитики так, чтобы:
- данные были хорошо документированы;
- данные были доступны бизнес-пользователям в самостоятельном режиме;
- систему можно было легко поддерживать и, при необходимости, быстро подключать других аналитиков к работе.
Сегодня я хотел бы познакомить вас с важным инструментом в методологии DataOps, а именно Apache Airflow и проектирование Data Pipelines (Конвейеры данных).
Эта статья будет посвящена краткому введению в Airflow и шагов по созданию и настройке конвейеров данных (Data Pipelines). Сначала мы установим и сконфигурируем Airflow. Затем рассмотрим практический пример создания и запуска DAG в Airflow. Сегодняшней нашей целью является практическое понимание развертывания Airflow и базовой разработки DAG.
Entity Framework — это удобный фреймворк для работы .NET-приложения с базой данных. По сути, это такая удобная абстракция над БД, которая сама пишет за разработчика оптимальные (ну, почти) SQL-запросы прямо из высокоуровневых LINQ-конструкций. Одной из киллер-фич фреймворка является возможность относительно легко сменить СУБД приложения на какую-нибудь другую. Предположим, разочаровались вы в MySQL или, наоборот, хотите сменить MSSQL на что-то менее дорогое — пожалуйста, EF как абстракция над СУБД в теории может это предоставить, так сказать, by design.
Проблема в том, что в мире бизнес-разработки СУБД меняют лишь по очень большой нужде, а потому редко кто уже сталкивался с данной фичей EF на практике, но вот мне такая возможность выпала. Поэтому я решил написать небольшой гайд, как это выглядит в реальности, чтобы у вас была возможность оценить применимость данной фичи, если вдруг это понадобится.
Привет, Хабр! Меня зовут Рустем, являюсь Senior DevOps Engineer в IBM и сегодня я хотел бы показать вам один из способов билда C# приложения. Для этого нам понадобятся Cake+TeamCity для CI-процесса.
Сегодня мы настроим CI-процесс, то есть сборку нашего кода.
В этой истории, основанной на реальных событиях, не будет ни сложной бизнес-аналитики, ни длинных строк кода. Только один небольшой голосовой робот – против всей консервативной системы обработки заказов в e-commerce.
Привет, Хабр! На связи СберТех — мы создаём Platform V, цифровую платформу Сбера для разработки бизнес-приложений.
В платформу входит более 60 продуктов на базе собственных сборок open source, доработанных до уровня enterprise по функциональности, безопасности, производительности и отказоустойчивости.
В этой статье расскажем про реализацию паттерна Change Data Capture и межкластерной репликации данных в продукте Platform V DataGrid, распределённой in-memory базе данных для высокопроизводительных вычислений. А также об особенностях внедрения функции и вариантах репликации. Написать материал помог наш коллега Николай Ижиков из команды по развитию баз данных на стеке open source.
Мы составили небольшой список языков программирования, с которыми приходится сталкиваться DevOps-инженерам. Подчеркнем, что это не рейтинг, и здесь нет лучших и худших языков — это лишь описание их возможностей и конкретных примеров применения для DevOps, что может оказаться полезным для новичков.
Всем привет! Я работаю в ИБ-интеграторе и занимаюсь сетевой безопасностью. Сегодня я хочу рассказать про наш собственный кейс, связанный с экстренной заменой иностранного межсетевого экрана (что сейчас достаточно актуально), который «неожиданно» перестал обновляться. Речь идет про переход с иностранного NGFW (у нас был NGFW от Palo Alto) на UserGate версии 6.1.6.
Возможно, кому-то еще предстоит с этим столкнуться, и мои советы окажутся вам полезными. И да, пост не ламповый, а инженерно-хардкорный, поэтому рекомендаций налить чаю не будет, а вот заварить кофейку или чего покрепче – можно.
Всем привет, я Вячеслав Жуйко – Lead команды разработки Audiogram в MTS AI.
При переходе от On-Cloud размещений ПО на On-Premises в большинстве случае перед вами неизбежно встанет задача защиты интеллектуальной собственности – и она особенно критична для рынка AI, где задействуются модели, обладающие высокой ценностью для компании. К тому же, в этой сфере широко используется интерпретируемый язык Python, ПО на котором содержит алгоритмы, являющиеся интеллектуальной собственностью компании, но фактически распространяется в виде исходных кодов. Это не является проблемой для On-Cloud решений, но в случае с On-Premises требует особой защиты как от утечек кода, так и самих данных.
Рассказываю реальную историю решения этой, казалось бы, не самой тривиальной задачи. Итак, обо всем по порядку.
Многие люди с помощью облачных сервисов делятся файлами с друзьями и близкими: загрузил один раз в облако, открыл доступ по публичной ссылке и рассылай её кому хочешь. Мы стремимся облегчить пользователям работу с Облаком и регулярно анализируем, какой информацией они делятся, какие форматы файлов загружают. Ежегодно пользователи создают больше 50 млн публичных ссылок, из которых около 13 млн — ссылки на папки с фотографиями. Если вам доводилось просматривать несколько сотен снимков с корпоратива или дружеской посиделки в поисках своего любимого лица, то вы знаете, какое это нудное занятие.
Мы — Сергей Тарасенко, менеджер продуктов Облако и Диск-О, и Арсений Зорин, руководитель группы бэкенд-разработки — расскажем о новом инструменте, который экономит время пользователей: автоматической сортировке фотографий внутри папки по лицам. Именно сортировке: вы можете быстро выбрать изображения с конкретными людьми, но не идентифицировать их.
Протокол DNS (Domain Name System Protocol) является одним из важнейших инфраструктурных протоколов для поддержки сети Интернет и первоначально он разрабатывался для максимальной производительности и возможности распределенного хранения неограниченного числа доменных зон. DNS может функционировать поверх UDP-протокола и это уменьшает накладные расходы на установку соединения и избыточный трафик в сети. Но одной из важнейших проблем стала безопасность обмена данными, поскольку клиент в первоначальном варианте протокола не может проверить достоверность информации и это может приводить к подмене ip-адресов злоумышленниками с переадресацией клиента на фишинговый сайт.
Для решения этой проблемы были введены расширения DNSSEC для генерации цифровой подписи ответа. Но сам запрос и ответ при этом не шифровались, что могло быть использовано для ограничения доступа к определенным доменам или для получения на транзитных узлах статистики доступа к хостам. Частично эту проблему решило использование инкапсуляций DNS-over-TLS (DoT, использует TLS для шифрования UDP-дэйтаграмм) и DNS-over-HTTPS (DoH, передает запросы и ответы поверх HTTPS-подключения), которые функционируют поверх TCP. В первом случае запрос более компактный (но может быть обнаружен по анализу трафика), во втором DNS-диалог неотличим от подключения к сайту или веб-сервисам, но при этом существенно увеличивает избыточной трафик (даже при использовании HTTP/2), а также вынужденно добавляет заголовки (которые могут использоваться для трекинга и перехвата cookies). Но можно ли как-то объединить преимущества UDP и DoH? Встречаем DNS-over-QUIC, который был утвержден в RFC9250 как Proposed Standard.
Какие плюсы есть у SAST? Чем он отличается от DAST? Что такое IAST? Что значат все эти слова?! Об этом (и не только) расскажем в статье-разборе основных видов Application Security Testing (далее AST).
В XVII веке среди художников-живописцев большой популярностью пользовалась идея написания картин внутри картины. Ярким примером служит знаменитая серия полотен-кунсткамер Виллема ван Хахта. Здесь можно найти более сотни действительно существующих произведений, в том числе и знаменитейших шедевров. Любители искусства по сей день спорят о названиях и авторах нескольких картин и скульптур, не прошедших идентификацию.
От настолько кропотливого творения захватывает дух! Только представьте, какого труда и профессионализма требует воспроизведение сотни мировых шедевров в собственной картине. Но с появлением и развитием технологий создавать подобные картинные галереи не составит большой сложности. В САПР, например, это легко можно сделать с помощью видовых экранов – здесь главное не запутаться в масштабах.
Какие именно способы оформления чертежа существуют, как устроена система масштабирования в Платформе nanoCAD, а также где могут быть спрятаны масштабы разных объектов, мы узнаем далее.
Когда дело доходит до защиты ваших облачных ресурсов, безопасность должна быть основным приоритетом всей организации. Путь к зрелому DevSecOps нет так прост и очевиден, но есть много экспертов, которые знают, какие необходимы компоненты для надежной программы безопасности.
Почти 85% респондентов Upskilling IT 2022 заявили, что DevOps или DevSecOps являются важными или необходимыми операционными моделями. Поэтому мы обратились к представителям DevOps Institute, которые поделились своим мнением по этой важной теме. Вот несколько общих идей о том, как выстроить эффективную DevSecOps-стратегию:
Недавно расследовали кейс, когда при казалось бы исправной конфигурации все попытки залогиниться на маршрутизатор Huawei NE40E-X8A (V800R021C00SPC100) были неуспешны в течение около двадцати минут, при этом все линии VTY SSH линии были свободны, никто не логинился на устройство несколько дней. Кто или что занимало свободные линии?
Привет! В мае прошел очередной, уже 11-й, PHDays, а вместе с ним и The Standoff, и мы, как обычно, не остались без кейсов интересных атак.
В этот раз мы решили не описывать отдельные техники и тактики по матрице MITRE ATT&CK, ведь ни одна атака не возникает на пустом месте: всегда есть конкретный вектор проникновения в систему, путь продвижения по инфраструктуре и в конечном счете реализованное недопустимое событие. Предлагаем сосредоточиться на этом, так что приготовьтесь к полноценному расследованию!
Наткнувшись на короткую статью на Хабр о решении PiRogue, мне показалось интересным проверить - можно ли получить работающий инструмент, затратив минимум времени. При этом, хотелось отработать конкретную прикладную задачу - проверить куда же идет траффик с моей домашней камеры.
Ингредиенты:
девайс Raspberry PI - 1 шт,
образ Pirogue с официального сайта https://pts-project.org/ - 1 шт.
Так как готового PI у меня под рукой нет, пришлось сделать паузу на заказ и получения девайса. Порадовало что сборка и запуск прошла на раз, при полном отсутствии опыта сборки подобных девайсов до этого.