Раскрываем три кейса о том, как технологии распознавания паспорта, банковских карт и QR‑кодов помогают Тинькофф решать задачи на фоне быстрого роста числа клиентов — с 5 млн в 2016 до 30 млн человек сегодня.
Взламывая ChatGPT: как мы участвовали в хакатоне по атакам на ИИ
AIGod — распознавание объектов (обновление)
Как мы уже знает, искусственный интеллект все больше и больше захватывает мир, мир реальный и виртуальный. И проект под названием «AIGod» тоже развивается. Казалось бы, ну что можно еще придумать в распознавании объектов, однако не спешите ставить точку, ведь под объектами может стоять что угодно.
Автоматизированное развертывание моделей машинного обучения или как мы создаем реальные проекты в магистратуре
Бесконечно можно смотреть на то, как горит огонь, течет вода и как дата сайентисты и ML-инженеры развертывают модели машинного обучения. Примерно у трети ML-инженеров данная задача занимает не менее часа рабочего времени. На хакатоне Data Product Hack от AI Talent Hub мы разработали инструмент для упрощения развертывания моделей машинного обучения MLJET. В статье рассказываем, как он работает.
Хороший, плохой, злой и… свободный? Сравниваем глуповатые, но усердные AI-плагины для разработки
Привет, Хабр! Меня зовут Арсений, я — тимлид в команде разработки инструментов разработчика KasperskyOS. Работа нашей команды заключается в том, чтобы делать жизнь разработчика ПО под нашу собственную микроядерную OS удобной, так что любые технологии, упрощающие жизнь разработчика, не оставляют нас равнодушными. Вместе со всеми мы следим за хайпом вокруг нейросетей и решили сделать небольшой обзор AI-плагинов автодополнения кода, которые каждый из нас может использовать уже сейчас.
В этой заметке попробуем сравнить следующие AI плагины VSCode:
- Copilot v1.84.61 — самый нашумевший робот
- Tabnine v3.6.45 — самый старый из трех и самый дорогой
- Codeium v1.2.11 — самый свежий и самый малоизвестный
- FauxPilot — Open source, self-hosted аналог Copilot, использующий модели от CodeGen; посмотрим, что может противопоставить коммерческим продуктам OSS-проект, развернутый на моем запечном сервере.
Статья может быть полезна любому разработчику, пишущему на одном из мейнстримовых языков программирования. Также можно рассматривать ее как источник идей — как использовать этих пока глуповатых, но усердных роботов.
Как создавался умный агрегатор новостей LifeLines
Рассказываем, как IT-компания Технологика и российский стартап запустили мобильный агрегатор новостей, который опередил своё время.
Все DETRы мира: denoising queries и positive anchors. Часть 2
В прошлой части мы поговорили про эволюцию DETR. А это значит, что сегодня самая пора поговорить про другие варианты исполнения архитектуры и их нюансы.
Материал для ТГ-канала “Варим ML”
Подходит ли Nvidia RTX A4000 ADA для машинного обучения?
В апреле компания NVIDIA выпустила на рынок новый продукт — графический процессор малого форм-фактора RTX A4000 ADA, предназначенный для применения в рабочих станциях. Этот процессор пришел на смену A2000 и может быть использован для выполнения сложных задач, в том числе для научно-исследовательских и инженерных расчетов и для визуализации данных.
RTX A4000 ADA оснащена 6144 ядрами CUDA, 192 тензорами и 48 ядрами RT, оперативной памятью GDDR6 ECC VRAM объемом 20 Гб. Одно из ключевых преимуществ нового графического процессора — его энергоэффективность: RTX A4000 ADA потребляет всего 70 Вт, что снижает затраты на электроэнергию и уменьшает тепловыделение в системе. Графический процессор также позволяет управлять несколькими дисплеями благодаря подключению 4x Mini-DisplayPort 1.4a.
Система распознавания COVID-19 по голосовым признакам
Исследователи и медики признают ценность голоса как биометрического параметра, который может отражать не только индивидуальные особенности человека, но и его здоровье. Несмотря на то, что пандемия COVID-19 уже закончилась, болеть ковидом люди не перестали. Поэтому разработка и применение голосовых систем для распознавания заболевания может позволить быстрее диагностировать болезнь при появлении ее симптомов.
Традиционные методы диагностики Covid-19, такие как ПЦР-тесты и анализы на антитела, обеспечивают точные результаты, но они требуют времени, ресурсов и инфраструктуры. Голосовая система распознавания, с другой стороны, основывается на анализе изменений в голосе и речи, которые могут быть связаны с присутствием вируса.
Учась в Университете ИТМО, в рамках проекта я создал систему распознавания COVID-19, которая анализирует способности голосовых биометрических признаков в выявлении заболевания. В статье разберу подробнее, какие методы я использовал и, как это вообще работает.
Занимательные задачи для любителей ML
Привет! Хотим подробнее рассказать вам о двух задачах, которые ждут вас на нашем челлендже с призовым фондом в 1 млн рублей.
Задача #1
Итак, у нас сливо-наливная эстакада. Как намекает название — на ней сливают или наливают продукт. Состав, прибывающий для этого дела, обслуживают сотрудники СИБУРа. Но кроме наших непосредственных сотрудников, есть ещё подрядчики, которые должны подготовить вагон-цистерну.
Мечтают ли нейронные гонщики об электрокубках
Нейронные сети глубоко проникли в жизни простых людей, но если вспоминать игры, связанные с их обучением, в голову ничего не приходит. Именно это недоразумение мы и хотели исправить своим проектом.
Порог вероятности: гиперпараметр для автоматизации улучшения работы нейросетевой модели
Всем привет!
Меня зовут Евгений Торчинский, практически всю свою жизнь я работаю с технологиями. Сейчас я руковожу Movix Lab — мы уже много лет занимаемся железом, софтом и работаем с искусственным интеллектом.
Я руковожу большой командой, наши продукты — результат совместной работы сотен человек и нескольких отделов. Сегодня я хочу подсветить направление голосового ассистента: ребята делают помощника, который будет жить во всех b2c - продуктах Дом.ру. Это будет единый ассистент для всех платформ и каналов связи, в том числе и для техподдержки. Другими словами, что-то понятное и знакомое во всех точках контакта.
В числе прочих, над проектом работает Антон Неверов, специалист по машинному обучению. Сегодня я хочу поделиться результатами его научного исследования. Итак, поехали.
У любого голосового ассистента есть споттер — это то самое ключевое слово, благодаря которому ассистент понимает, что человек обращается именно к нему. «Алиса», «Салют» или ‘Hey, Siri’ — это все споттеры. Голосового ассистента нужно научить вылавливать «свое» слово из звукового потока и как можно скорее среагировать на него. Для этого обучения мы используем нейросетевые модели.
Один из ключевых вопросов при работе с нейросетевыми моделями — это оценка качества обучения модели. На эту тему есть немало исследований, авторы которых практически всегда основывают оценку качество обучения нейронной сети на базовых понятиях: количестве успешных и ложных детектирований. Причем совсем не важно, каким именно вопросом занимаются авторы — детектированием изображений, звука или работой со статистическими данными — метод оценки остается тем же.
ML System Design: основные способы деплоя и тестирования моделей машинного обучения в продакшене
Разберем популярные паттерны проектирования ML-систем для ответа на следующие вопросы:
1. Какой способ выбрать для деплоя модели в production?
2. Как затащить составной ML-пайплайн в real-time сервис?
3. Каким способом тестировать новую версию модели?
Быстро, точно, градиентно: как наш подход к градиентному бустингу повышает эффективность моделей
Доброго времени суток, уважаемые читатели! Сегодня мы вновь рады приветствовать вас в увлекательном мире дата-сайентистов банка "Открытие". На связи Иван Кондраков, Константин Грушин и Станислав Арешин. Недавно мы поделились с вами нашим пайплайном разработки линейных моделей для решения задач бинарной классификации. Теперь же мы решили поведать о нашем опыте построения моделей градиентного бустинга. За последнее время команда проделала колоссальную работу: мы протестировали различные методы отбора факторов, нашли новые инсайты в данных, провели интересную (а, главное, полезную!) аналитическую работу и решили несколько Ad-hoc задач. Зовите всех к экранам, мы начинаем!
Ускоряем процесс разметки с помощью интерактивной сегментации
Всем привет! Сегодня поговорим про задачу интерактивной сегментации на основе кликов (click-based) и как она может ускорить процесс разметки данных для различных типов сегментации. Сегментационные модели применяются в распознавании событий и объектов в видео (Video Understanding), анализе медицинских снимков и в управлении беспилотных автомобилей, а также с их помощью реализована замена фона в приложениях для видеозвонков, бьютификация и автоматическая ретушь фотографий. SberDevices тоже активно разрабатывают свои решения для семантической сегментации – недавно мы рассказывали про задачу замены фона и бьютификацию в нашей статье, в которой представили новый большой opensource датасет для Portrait Segmentation и Face Parsing вместе с набором предобученных моделей.
Искусственный интеллект может привести к деградации человечества
Рынок образования резко изменился за последние несколько лет, все началось с пандемии, и эти изменения продолжаются и по сей день. Цифровые технологии проникли во все административные процессы образовательных организаций и, конечно, в сам процесс обучения. При этом средствами донесения учебного материала иногда становятся информационные системы, которые изначально с образованием никак не были связаны, и никто не воспринимал их, как подходящие для этой задачи. Это и социальные сети, и мессенджеры.
Я стал рассуждать, какие факторы могут повлиять на рынок образования, какие профессии будут востребованы через 5-10 лет. Может ли искусственный интеллект вытеснить таких специалистов как журналист, врач, учитель?
О вариативности результатов обучения нейронных сетей
В статье приводятся примеры результатов обучения нейронной сети (FNN с одним скрытом слоем, распознавание MNIST) сериями по 10 запусков на каждой паре (количество нейронов скрытого слоя, размера батча) и соответствующий вывод, связанный с вариативностью результатов.
Обучаем машину правильно или как предотвратить Оverfitting
Искусственный интеллект — это наш инструмент и помощник, способный выполнять рутинные процессы. Над искусственным интеллектом работают сотни тысяч людей во всем мире в разных областях и обладают разными компетенциями и навыками. Но искусственный интеллект сам себя не научит и не усовершенствуется — за этим стоит человек. Машинное обучение — это ключевая область ИИ. Оно использует алгоритмы для анализа данных и получения выводов.
Сквозная оптимизация в промышленности
В этом посте я хочу рассказать о своем опыте разработки технологии, которая управляет интеллектуальными решениями, используемыми в промышленности, чтобы сделать их работу эффективнее и обнаружить скрытые выгоды для бизнеса.
Предыстория
Для начала приведу пример системы, которыми управляют классы продуктов, описываемых в статье.
Некоторое время назад я столкнулся с задачей оптимизации расхода ферросплавов (далее ФС). При производстве стали сталевары добавляют специальные вещества, ферросплавы, чтоб получить нужную марку с определенным химическим составом (см. схему с этапами ниже). Например, чтобы содержание Si в полученной стали было не менее 0.2 % (в технологической инструкции обычно указан диапазон, допустим от 0.2 до 0.3, но мы для простоты будем говорить только о нижней границе).
2 года, 7 попыток, 0 распознанных бордюров: как мы учились детектить ДТП в реалтайм без датасета
Привет, Хабр! Это команда дата-сайентистов Magnus Tech. В этом посте мы расскажем, как работали над одним общественно полезным проектом — алгоритмом, который распознает ДТП по видео с дорожных камер. Кейс будет интересен широкому кругу разработчиков, которые занимаются технологиями машинного зрения и обучения. В нем — наш долгий путь из множества попыток сделать точный алгоритм, несмотря на его настойчивые попытки быть неточным.
За два года мы наступили на все возможные грабли, протестировали уйму гипотез и подходов к задаче. В итоге пришли к рабочему алгоритму, который, наконец-то, научился отличать машины от бордюров. В этом посте мы поделимся инсайтами, расскажем о неудачных гипотезах, распишем архитектуру последней версии нашего алгоритма и объясним, почему для выхода на прод нам все-же понадобится датасет.