По мере того как все больше моделей развертывается в современных конвейерах, снова и снова возникате понимание, что данные и их фичаризация** (featurization) важнее всего остального. Последнее поколение систем больших данных масштабировало ML на реальные датасеты, теперь хранилища данных быстро становятся новым рубежом для подключения моделей к данным в реальном времени
Администрирование
- Новые
- Лучшие
- Все
- ≥0
- ≥10
- ≥25
- ≥50
- ≥100
«Форсайт» – история длиною в жизнь
Привет, Хабр! Меня зовут Константин Шимановский. Почти 20 лет своей жизни я работаю с российской BI-платформой «Форсайт. Аналитическая платформа», и сейчас возглавляю Департамент управления продуктами одноименной компании «Форсайт». Мы с моей командой продуктовых менеджеров, архитекторов, методологических и технологических экспертов определяем вектор развития нашей платформы и вырабатываем best-practice ее применения. Всем своим опытом мы хотим поделиться в цикле статей на Хабре. Следите за новыми публикация. Будет интересно!
В нашем первом посте мы расскажем о истории развития нашей платформы. Сразу наберитесь терпения. История у нас длинная, и статья получилась не очень короткой. Далее обещаем исправиться и будем публиковать более компактные тематические обзоры. А сейчас, если вам интересно, как ИТ-компания за несколько десятков лет прошла путь от маленькой лаборатории в университете до широкого мирового признания, как совершенствовались и развивались ее технологии, чем сейчас живет и «дышит» наша BI-платформа — добро пожаловать под кат!
SAST unboxing
Мы создаем множество сложных программных продуктов и требования безопасности кода становятся все актуальнее. Автоматизация везде, в том числе и в сфере безопасности: алгоритмы говорят нам, как писать код. Очень хотелось бы иметь волшебный инструмент, который бы говорил, безопасен наш код или нет. Попробуем проверить, есть ли волшебная кнопка в мире DevSecOps. Для этого мы взяли несколько статический анализаторов кода, залили в них уязвимый код и посмотрели, что получилось на выходе.
Как пелось в песне группы Технология, “Нажми на кнопку – получишь результат, и твоя мечта осуществится”. О результатах эксперимента мы и поговорим далее.
DistKontrolUSB в домашнем офисе
Мы с женой уже несколько лет работаем дистанционно. Не потому что ковид и самоизоляция. Мы путешествовать любим, а «удалёнка» позволяет совмещать приятное с полезным.
С недавнего времени «рабочую» часть нашего багажа пришлось пополнить аппаратными ключами доступа. Токенами сегодня защищают не только банковские сервисы и торговые площадки, но даже корпоративные системы документооборота. В теории всё это должно выглядеть замечательно, но на практике решение одних проблем всегда приводит к появлению других.
Строим сервисы для разработчиков ИИ: как наш GPU SuperCloud эволюционировал до автоматизированной MLOps Platform
Динамичный рост рынка технологий искусственного интеллекта закономерно породил спрос на инфраструктуру для их разработки. Особенность построения моделей искусственного интеллекта состоит в том, что для их обучения требуются очень мощные и производительные решения. Под катом мы поговорим о том, как начался наш путь в сервисы для ИИ и к чему мы пришли сейчас. Коснемся и исторических моментов, и планов на ближайшее будущее.
Модификация ядра Linux: добавляем новые системные вызовы
В этой статье мы научимся изменять ядро Linux, добавим собственные уникальные системные вызовы и в завершении соберем ядро с новой функциональностью.
Как Netflix упаковывает терабайтный контент с помощью облачных технологий
Netflix создаёт интересный и качественный контент, который часто собирает награды на фестивалях, так что потребности студии подталкивают технологический прогресс. Так появились облачные конвейеры постпроизводственного редактирования и совместной работы, которые требуют сложного набора функций, включая создание и размещение высококачественного прокси-контента. После получения, проверки и кодирования контента этап упаковки инкапсулирует закодированные видео и аудио в независимые от кодека медиаконтейнеры. Благодаря этому становятся доступными синхронизация аудио-видео, произвольный доступ к элементам и защита от копирования.
Необходимость поддерживать рабочие процессы ставит перед упаковочной службой новые задачи. Но это коротко. А теперь давайте поговорим об этом подробнее.
9 команд для проверки информации о CPU в Linux
Информация об аппаратном обеспечении CPU
Информация о CPU (Central Processing Unit. Центральный процессор) включает в себя подробные сведения о процессоре, такие как архитектура, название производителя, модель, количество ядер, скорость каждого ядра и т.д.
В linux существует довольно много команд для получения подробной информации о CPU. В этой статье мы рассмотрим некоторые из часто встречающихся команд, которые можно использовать для получения подробной информации о CPU.
Simics: RISC-нём?
Ранее в сериале… Ах, да, не все технари уважают сериалы. Тем не менее, слово Simics уже было написано в заголовке и мне не отвертеться от того, что все последующее будет своеобразным практическим продолжением материала «Симуляторы компьютерных систем – похожи ли на реальность» моего коллеги @alex_dzen.
Из этих трех статей мы знаем, что есть такие симуляторы аппаратного обеспечения и ими пользуются серьезные дядьки из больших компаний. Наверное, меня тоже можно отнести к этим «дядькам», но у меня есть одна слабость — на досуге я люблю что-нибудь паять и использую для проектов «несерьезную» среду Arduino, где в качестве процессоров применятеся что-нибудь из «несерьезных» Atmel-ARM или ESP32-RISC. И интрига в том, можно ли использовать Simics для небольших и хобби-проектов?
Low-Code разработка и применение искусственного интеллекта Microsoft AI Builder в приложениях без кода
Разработка системы заметок с нуля. Часть 1: проектирование микросервисной архитектуры
Данный проект рассматривается как pet-project. Любую критику и советы готов увидеть в комментариях.
Это моя фактически первая статья на хабре за долгое время, последняя была написана очень много лет назад, если что-то не так - напишите в личные сообщения - я все исправлю.
Репозиторий с исходным кодом: https://github.com/theartofdevel/notes_system
Видео версия: https://www.youtube.com/watch?v=Txi95RQPRP0
Под катом текстовая расшифровка.
Immutable infrastructure – достигая недостижимого идеала (Андрей Девяткин)
Всем привет! Добро пожаловать на презентацию об immutable infrastructure – достигая недостижимого идеала. Перед тем как мы начнем, хотел бы сделать небольшое вступление.
Механизмы обеспечения повышенной безопасности контейнеров в Linux
Наше с вами современное время во всех учебниках истории уже названо периодом очередной смены производственного уклада или четвертой промышленной революцией (Индустрией 4.0). Основную роль при этом отводят информации, в том числе ИТ-системам. В попытках удешевления ИТ-инфраструктуры, унификации и ускорения процессов разработки ИТ-решений человечество сначала придумало «облака» на замену традиционным ЦОДам, а затем и контейнеры на замену виртуальным машинам.
Что же такое контейнер и в чем состоит суть контейнеризации?
Ответ прост - контейнером буквально можно считать процесс (дерево процессов), исполняемый на некотором физическом компьютере c определенной операционной системой с помощью специальной оболочки (контейнер runtime).
Если рассмотреть случай с виртуальными машинами, их изоляция друг от друга, а также их доступ к аппаратным ресурсам обеспечивается специальными аппаратными средствами (расширения виртуализации), и их поддержкой на уровне гипервизора. Возможности воздействия из виртуальной машины на гипервизор и физическое железо сведены к очень ограниченному набору интерфейсов, которые, опять же, в рамках, предусмотренных дизайном, могут влиять лишь на данную виртуальную машину. Иными словами, все вышеупомянутое служит для строгой изоляции виртуальных машин и всего, что в них может происходить, как друг от друга, так и от внешнего окружения, включая систему, на которой они функционируют.
Главной и практически единственной значимой целью контейнеризации является также достижение максимально возможной изоляции процессов как друг от друга, так и от возможного негативного воздействия на операционную систему, в которой они исполняются. Иногда в литературе для описания этой изоляции используются термины “sandbox” – «песочница» и “jail” – «тюрьма».
При этом, поскольку для изоляции процессов, исполняемых в едином пространстве ОС и на одном физическом компьютере, может быть использован гораздо более ограниченный набор инструментов и возможностей, то, очевидно, что с точки зрения безопасности контейнеры выглядят более уязвимыми. В чем, собственно, тогда преимущества контейнеризации перед виртуализацией? На самом деле, их довольно много:
- возможность более гибкого использования имеющихся ресурсов (нет необходимости их резервирования как в случае с виртуальными машинами);
- возможность экономии ресурсов (нет необходимости их тратить на множество копий ОС для каждой виртуальной машины);
- нет задержек при старте (запуск процесса происходит практически мгновенно по сравнению с временем, затрачиваемым на загрузку виртуальной машины);
- взаимодействие между процессами, пусть даже и изолированными, в случае необходимости гораздо проще реализовать, чем между виртуальными машинами. Так появилась, кстати, соответствующая концепция микросервисов, в последнее время ставшая очень популярной.
Все вышеперечисленное привело к весьма бурному развитию контейнерных технологий, несмотря на периодически возникающие проблемы с безопасностью уже развернутых контейнерных облачных систем, их взломами и утечками данных. Соответственно, работа по усилению безопасности контейнеров также не прекращается ни на секунду. Как раз об этом и пойдет речь далее в этой статье.
Как помочь участникам видеокурсов проходить их до конца: опыт Слёрма
Раньше у Слёрма было два варианта обучения: интенсивы и видеокурсы. Но участники не проходили курсы до конца и мы стали думать, как помочь. Ввели формат прохождения в группах с куратором и сразу увидели результаты.
Как куратор помогает не отложить очередной видеокурс на полку, рассказали три наших эксперта.
Интернет на магнитах 6 — Децентрализованные комментарии
На редите я наткнулся на вопрос: Как комментировать торренты? (how do i comment on torrents?)
Из предложенных решений было только комментировать на сайте где торрент файл был взят. Но это вариант далеко не всегда доступен. Особенно когда это поисковик по типу BtDigg.
На этом вопрос был закрыт и дать другой ответ на него стало не возможно.
Но есть ещё одно простое решение. Это комментировать где угодно просто указывая хеш того что комментируешь и по этому хешу искать комментарии.
Полезные советы по LibreOffice, вводное занятие по Quarkus для Spring-разработчиков…
... а также шпаргалка по YAML.
Мы знаем как провести время с пользой: собрали для вас полезные ссылки, записи вебинаров, анонсы конференций, книги и шпаргалки! Прокачивайте скилы, читайте, смотрите, думайте, применяйте на практике!
Знай своего врага: разбираем техники атакующих на The Standoff вместе с PT NAD
Привет, Хабр! Мы продолжаем разбирать наиболее примечательные моменты майской кибербитвы The Standoff. Это отличный шанс подготовиться к новому противостоянию, которое пройдет уже 15 и 16 ноября. Еще не знаете подробностей? Читайте их в нашем блоге.
Сегодня расследуем ряд атак на периметре и внутри сети, выявленных нашей NTA-системой — PT Network Attack Discovery (PT NAD). Разберем, какие тактики и техники по матрице MITRE ATT&CK использовали атакующие для проникновения в инфраструктуру и на дальнейших этапах, и обсудим, могут ли подобные инциденты произойти в реальности. Это заключительная часть цикла материалов, посвященного результатам работы наших решений на The Standoff 2021. Если пропустили наши статьи, то скорее читайте о том, что интересного поймала наша песочница PT Sandbox, как межсетевой экран уровня приложений PT Application Firewall помогал защищать город от нападающих и какую секретную информацию об атаках нам поведал MaxPatrol SIEM.
Виртуальный город-государство и презентация новой платформы — как пройдет новый The Standoff Moscow 2021
В ноябре белые хакеры и специалисты по информационной безопасности соберутся на крупнейшей в мире открытой кибербитве The Standoff Moscow. Мы обновились и готовим для вас тренировки на киберполигоне, открытые киберучения, технические доклады от молодых профессионалов и погружение в вопросы инвестиций в кибербез. На такое количество нововведений потребовалось больше времени, чем планировалось, но уже 15 и 16 ноября специалисты по ИБ попытаются взломать броню компаний из различных отраслей, включая Positive Technologies. А еще мы покажем новую онлайн-платформу Standoff365 для проведения киберучений в режиме 24/7/365.
Мне сверху видно все: как спроектировать и построить колесо обозрения
Наверняка все читатели и авторы Хабра хотя бы раз катались на колесе обозрения. Новая статья в нашем блоге раскрывает инженерную «начинку» этой внушительной конструкции. Рассказывает директор и главный конструктор компании «Русские аттракционные системы» Александр Лущиков. На счету компании 15 колес обозрения, работающих в Красноярске, Новосибирске, Иркутске, Иваново, Анапе и других городах.
Настройка pfBlockerNG на pfSense (часть 1)
pfBlockerNG? Что это? Далеко немногие используют функционал pfSense на полную - а ведь данный пакет является по сути opensource решением близким к Cisco Firepower Security Intelligence и OpenDNS, ну а из free аналогов наиболее близок к FireHOL.
Основные фичи - Блокировка IP по географическому признаку используя MaxMind GeoIP; Блокировка доменов по категориям использую списки Shallalist и UT1; Поддержка IP/DNSBL фидов в разных форматах - TXT, CSV, JSON, ASN, WHOIS, Regexp; Блокировка великого и ужасного DNS-over-HTTPS; Поддержка SafeSearch - переадресация поисковых запросов Google/Youtube/Yandex/Bing/DuckDuckGo на "безопасную" версию для фильтрации контента не предназначенного для детей; Детальное ведение лога, статистики и построение отчётов/диаграмм.