Эта заметка написана для того, чтобы облегчить путь тем, кто столкнется с проблемой после меня. Задача кажется тривиальной, но как обычно, в процессе вылезли проблемы, которые решать пришлось методом долгого изучения манов и бесконечных перенастроек. В интернете почему то очень мало информации по настройке Cisco Firepower Threat Defense (FTD), а тем более - в связке с Mikrotik.
Наверное всем не нравится консоль для запуска ранбуков у Microsoft System Center Orchestrator. Она неудобная и тормозная. Давно вынашивал идею сделать что-то более удобное, избавиться от Silverlight и... наконец-то подвернулась возможность её реализовать.
У фотографов есть Photoshop, у архитекторов — AutoCAD, а у инженеров машинного обучения — Kubeflow. Каждый получает свои преимущества от использования специализированного программного обеспечения, инженеры ML — не исключение.
В этой статье разберем чем полезен и как работает Kubeflow.
30 сентября 2021 14:01:15 GMT оканчивается срок действия корневого сертификата IdenTrust DST Root CA X3.
Это событие достойно вашего внимания по той причине, что после наступления этого момента ряд устаревших систем перестанут доверять сертификатам, выпущенным центром сертификации Let’s Encrypt. С учётом того, что на текущий момент Let's Encrypt предоставляет бесплатные криптографические сертификаты примерно для 250 миллионов доменных имен, а "устаревшие системы" - это порой системы возрастом всего 5-6 лет, вряд ли окончание срока действия сертификата DST Root CA X3 пройдёт для всех гладко и незаметно. В чём причина, кого конкретно это затронет, и что можно сделать?
Как архитектор-консультант в Red Hat, я имел возможность поработать над множеством проектов для наших клиентов. У каждого из них есть свои особенности, которые, однако, имеют некоторые общие черты. Большинство клиентов хотят знать, как скоординировать запись в несколько систем одновременно. Ответ на этот вопрос обычно включает подробное объяснение двойной записи, распределенных транзакций, современных альтернатив, а также возможных сценариев сбоев и недостатков каждого подхода. Как правило, именно в этот момент заказчик понимает, что разделение монолитного приложения на микросервисы - долгий и сложный путь, обычно требующий компромиссов.
Эта мини-статья родилась как ответ на статью Упрощаем эмуляцию X86 с помощью Live CD, в которой для запуска старых 32-битных приложений на 64-битных дистрибутивах Linux предлагалось использовать QEMU + Live CD — по моему мнению «из пушки по воробьям». Опишу своё решение на chroot + debootstrap.
Всем привет!
Продолжаем дайджесты новостей и других материалов о свободном и открытом ПО и немного о железе. Всё самое главное про пингвинов и не только, в России и мире.
Главные темы нового выпуска:
И многое другое…
Продолжаем тему интеграции в наш медиацентр онлайн-сервисов прослушивания музыки. Ранее мы уже «подружили» медиацентр KODI с сервисом Яндекс.Музыка. Сегодня на очереди не менее популярный сервис – Spotify.
Инженеры MIT представили чип, способный работать с любым типом данных, передаваемых по сети. Под катом обсуждаем возможности и перспективы разработки, а также альтернативные решения для квантовых компьютеров.
ext4, reiserfs, btrfs, или даже сетевые файловые системы — вроде nfs. Кроме того, в Linux существуют и виртуальные файловые системы, вроде /sys и /dev, которые помогают Linux сделать так, чтобы всё в ней выглядело бы как файл. Слабая сторона средств работы с файловыми системами в Linux заключается в том, что для создания механизмов, обеспечивающих работу файловой системы, нужно вносить изменения в ядро, или, как минимум, создавать загружаемые модули. Это, правда, не так уж и сложно, но, всё же, немного сложнее, чем разработка обычных программ. Решить эту проблему призван интерфейс FUSE (Filesystem in USErspace — файловая система в пользовательском пространстве). В частности, речь идёт о модуле файловой системы, который позволяет создавать новые файловые системы путём написания вполне обычного кода.
Рассказываем, что собирается осуществить регулятор, чем отвечают стриминговые сервисы и как на все это реагируют исполнители. Подробности — под катом.
Поднимаем свой веб-сервер в домашней сети видимый из вне для pet проектов на старом ноутбуке с Ubuntu Server.
Non-fungible token (NFT) или невзаимозаменяемый токен – это криптографический токен, являющейся производной от смарт контрактов в Ethereum. Его основная уникальность от других крипто токенов вроде биткойна в том, что один NFT нельзя заменить другим. Каждый NFT это полностью уникальный токен, который присоединяется к конкретному цифровому файлу, что в таком случае делает файл уникальным. Даже если попытаться копировать этот файл NFT не скопируется и останется у первоначального файла, таким образом делая его оригиналом. NFT нельзя разделить или заменить, его можно сравнить с полностью уникальным предметом в реальном физическом мире.
Впервые NFT появился в 2017 году в сеть Ethereum в качестве игры «Криптокотики» (Crypto Kitties), в ней можно растить и разводить криптовалюту в виде котов. Отдельный криптокотик — олицетворение механики NFT. Его нельзя разделить, он обладает уникальным номером, геномом из 256-битной ДНК и 12 атрибутами, которые можно передать потомкам — цвет глаз, форму рта и прочее. В NFT вшита информация о создателе криптокотика, а также о его виртуальных отпрысках. В 2018 году самый дорогой криптокотик был продан за $140 тыс.
Но настоящий бум NFT произошел в начале 2021 года. С декабря 2020 по февраль 2021 общий объем продаж с NFT поднялся с 12 до 340 миллионов долларов США. Это связанно с тем, что деятели искусства и пользователи сети стали увидели новые возможности продажи своих работ благодаря NFT. NFT решил основную проблему людей занимающимся цифровым искусством. Это проблема подтверждения подлинности объекта искусства.
Об обработке текстов на естественном языке сейчас знают все. Все хоть раз пробовали задавать вопрос Сири или Алисе, пользовались Grammarly (это не реклама), пробовали генераторы стихов, текстов... или просто вводили запрос в Google. Да, вот так просто. На самом деле Google понимаетот него хотите, благодаря ш, что вы тукам, которые умеют обрабатывать и анализировать естественную речь в вашем запросе.
При анализе текста мы можем столкнуться с ситуациями, когда текст содержит специфические символы, которые необходимо проанализировать наравне с "простым текстом" или формулы, например. В таком случае обработка текста может усложниться.
Вы можете заметить, что если ввести в поисковую строку запрос с символами с ударением (так называемый модифицирующий акут), к примеру "ó", поисковая система может показать результаты, содержащие слова из вашего запроса, символы с ударением уже выглядят как обычные символы.
Так как всё-таки происходит обработка таких запросов?
Совсем скоро в онлайне стартует SmartData 2021. По названию конференции уже понятно, что она посвящена работе с данными, но не все так просто. Это достаточно обширная тема, в которой можно заниматься совершенно разными вещами. SmartData затрагивает конкретную часть домена «Работа с данными» — дата-инжиниринг. Тут можно услышать про СУБД, архитектуру DWH, MLOps и многое другое, с чем сталкиваются дата-инженеры.
Среди наших спикеров есть и люди из академической среды (Энди Павло), те, кто имеет дело с огромным количеством данным (Теджас Чопра из Netflix), топовый контрибьютор популярнейшего оркестратора Airflow (Эш Берлин-Тейлор) и многие другие профессиональные дата-инженеры и архитекторы.
Темы докладов будут самые разнообразные: как заниматься йогой со Spark, какие бывают инженеры данных, как масштабировать аналитику, совладать с ClickHouse без ущерба для здоровья, оптимизировать повседневные задачи с помощью ML и так далее.
Но не докладами едиными: будет ещё и два воркшопа, где зрители не внимают теоретическим знаниям со слайдов, а перенимают у спикера практические навыки работы с чем-то. А в финале конференции будет круглый стол об альтернативах Hadoop.
Под катом — детальный обзор программы, для вашего удобства поделённый на тематические блоки (инструменты, процессы, архитектура и т.д.).
Летом 2021 года в Slack появились новые голосовые легковесные чаты — huddles. Мне они очень приглянулись в каждодневной рутине, и достаточно быстро появилась идея использовать их для улучшения жизни на работе.
Летом я участвовал в конференции DevOpsConf. Мероприятие оказалось очень полезным и ценным. И дело не только в том, что DevOpsConf дала возможность узнать что-то новое из технологий или опыта. Конференция натолкнула на несколько принципиальных выводов.
Этот пост – не про итоги DevOpsConf и даже не про содержание докладов. Зачем их пересказывать? Проще воспользоваться записью и послушать самостоятельно. Я же хочу поделиться мыслями о DevOps, которые пришли в голову, пока я слушал доклады коллег.
Приветствую всех!
На протяжении последних нескольких месяцев, мы командой Data Phoenix, провели ряд вебинаров посвященных MLOps в рамках серии «The A-Z of Data».
Сегодня я хочу поделиться всеми видеозаписями прошедших вебинаров, а также пригласить на предстоящий, который будет посвящен MLOps инструменту — Pachyderm. Также буду благодарен за пожелания в комментариях тем, на которые вам было бы интересно послушать предстоящие вебинары.