В этом обзоре мы рассмотрим, как методы LIME и SHAP позволяют объяснять предсказания моделей машинного обучения, выявлять проблемы сдвига и утечки данных, осуществлять мониторинг работы модели в production и искать группы примеров, предсказания на которых объясняются схожим образом.
Также поговорим о проблемах метода SHAP и его дальнейшем развитии в виде метода Shapley Flow, объединяющего интерпретацию модели и многообразия данных.
В предыдущей статье было показано как, используя несколько модулей Python, можно обрабатывать текстовые данные и переводить их в числовые векторы, чтобы получить матрицу векторных представлений коллекции документов. В данной статье будет рассказано об использовании матрицы векторных представлений текстов в сервисе автокластеризации первичных событий в платформе monq для зонтичного мониторинга ИТ-инфраструктуры и бизнес-процессов.
Прокатный цех металлургического предприятия ЕВРАЗ ЗСМК занимается выпуском готовой продукции для клиентов: от арматуры до уголков. Производственный процесс — дело непростое. Иногда за всеми мощностями и нюансами человеческому глазу уследить сложно или даже невозможно. Под катом расскажем, каким образом система видеоаналитики решает производственные проблемы, изложим этапы ее создания и увидим, какие трудности возникают при решении подобного рода задач на металлургических предприятиях.
Аниме — мультипликация, которая интересна не только подросткам. Даже среди суровых бородатых айтишников в свитерах есть ценители этого направления. Создатели Waifu Labs – сайта для генерации аниме-портретов – поделились своей внутренней кухней и рассказали, как ИИ создаёт рисунки.
Привет, Хабр!
Нашим заказчикам часто приходится работать с большим потоком документов, многие из которых очень похожи друг на друга, но не одинаковы. Поскольку обрабатывать такое количество информации с каждым годом становилось все сложнее, мы придумали технологическое решение, которое способно автоматизировать эту задачу с высокой точностью.
Например, представим, что на обработку поступают десятки тысяч инвойсов от сотен разных контрагентов. Раньше, чтобы автоматизировать их классификацию и извлечение информации, требовалось наработать базу поставщиков, а для каждого из типов документов — создать вручную гибкое описание (задать информацию о линейных отношениях полей относительно друг друга). Внедрение такого решения у клиента длилось от 3 до 6 месяцев.
Чтобы упростить и ускорить эту задачу и в целом облегчить работу нашим заказчикам, мы создали новый механизм кластеризации и разработали технологию FastML, а затем объединили их работу.
В нашем решении кластеризация избавляет от необходимости вести базу данных вендоров, а FastML способен работать, основываясь на пользовательском обучении: технология делит поток документов на определенные группы, на каждой из которых учит свою модель поиска. В результате новое решение лучше адаптируется к внешним отличиям документов и работает в несколько раз быстрее.
Но обо всем по порядку.
Артефакты, которые отличают подделку от реальных данных, могут находиться в спектральной или временной областях. Их надежное обнаружение обычно зависит от ансамбля сложных систем, где каждая подсистема настроена на определенные артефакты. Мы стремимся разработать единую, эффективную систему, которая может обнаруживать широкий спектр различных атак с использованием спуфинга без использования групп баллов. Мы предлагаем новый слой внимания с гетерогенным наложением графа, который моделирует артефакты, охватывающие разнородные временные и спектральные области с гетерогенным механизмом внимания и узлом стека. С новой операцией максимального графа, которая включает конкурентный механизм и расширенную схему считывания, наш подход, названный AASIST, превосходит текущее состояние дел в данной области примерно на 20%. Даже облегченный вариант, AASIST-L, всего с 85 тыс. параметров, превосходит все конкурирующие системы.
Я попытался обучить русскоязычную модель ruT5-base и ruT5-large на задаче извлечения ключевых слов из текста.
Конечной задачей всей деятельности по созданию алгоритмов для обработки естественного языка (Natural Language Processing, NLP) является создание искусственного интеллекта (ИИ), который бы понимал человеческий язык, причем “понимал” в значении “осознавал смысл” (анализ текста) и “делал осмысленные высказывания” (синтез текста). Пока до этой цели ещё очень далеко, можно применять различные алгоритмические методы для извлечения какой-либо полезной информации из текстовых данных. А это уже очень полезно для ИТ мониторинга.
В этой статье мы расскажем о применении моделей ML для целей классификации поступающих данных.
В Robot Operating System сообществе мы решили провести новогодний Робот ROS Огонек, по примеру известной передачи Голубой огонек. В программе видео трансляции живое общение робототехников, истории про проекты роботов, ответы на различные вопросы по робототехнике.
И начнем мы видео с распаковки и обзора четвероногого робота собаки.
А в конце года посмотрим насколько я был прав/лев
Вот и наступило это чудесное время подвести итоги года ушедшего и взглянуть в год грядущий.
Доброго времени суток всем и с наступающими праздниками!
В данной публикации я хотел бы рассказать о своем опыте не общения с поддержкой Яндекс. Этим я хочу не только поделиться с сообществом, но и обратить внимание на данную проблему самой компании.
И так, начнем, все началось с того, что несколько дней назад я приобрел Яндекс станцию мини 2 серии и в ночь с 28 на 29 декабря распаковав станцию и установив ее в самое, на мой взгляд, удобное место начал с ней играться. Игрались мы хорошо, даже замечательно, много болтали и слушали музыку (даже когда я ее об этом не просил, но я понимаю, она обучается, да и дело не в этом). Вместе со станцией я приобрел и умную лампочку от Яндекс, с Алисой они быстро сдружились, и она взяла шефство над светом в комнате. В целом я очень доволен Алисой, она быстро находит ответ на мои вопросы, а если не может дать ответ или к слову приходится, то сыпет афоризмами. Плюс ко всему управление умным домом через Алису - это шикарно.
Научные издания используют автоматические программы на основе ИИ для поиска недостатков в представленных рукописях.
Перед тем, как исследование появится в одном из десяти журналов Американской ассоциации исследования рака (American Association for Cancer Research, AACR), оно проходит необычную дополнительную проверку. С января 2021 года AACR использует ИИ для проверки всех препринтов, предварительно принятых после прохождения рецензирования. Цель проверки состоит в том, чтобы автоматически предупреждать редакторов о дублированных изображениях, в том числе отредактированных — повёрнутых, отфильтрованных и растянутых.
Новый Год - чудесный праздник: веселый, сказочный, волшебный. Наряженные елки, запах мандаринов в воздухе. Идут последние недели декабря, настроение праздничное, и на работе тоже пора заниматься праздничными делами. Вот мы и решили побаловать наших читателей новогодней томографической статьей. Самая прекрасная традиция - дарить подарки на Новый год. Ко всем детям на планете приходят Дед Мороз, Санта Клаус и другие герои культурного наследия и приносят разные подарки. Вот и под нашим пристальным рентгеновским взором оказались новогодние игрушки - детские подарки. В статье мы расскажем об ожиданиях, полученных результатах и наконец ответим на вопрос, что же скрывается в мешке у Деда Мороза.
Искусственный интеллект набирает обороты и появляется спрос на серверные шкафы именно под такие серверы. Специфика размещения данных серверов состоит в том, что они почти все повышенной глубины, имеют внушительный вес, у них высокое электропотребление и им нужен дополнительный теплоотвод. Всё это требует большого пространства. Рассмотрим, что нужно учитывать при размещении серверов искусственного интеллекта и другого габаритного оборудования в серверной.
