Как стать автором
Обновить
254.49

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Фигуры Matplotlib и стиль Cyberpunk: несколько строк кода — и готова красивая фигура

Время на прочтение 8 мин
Количество просмотров 200
Блог компании VK Big Data *Машинное обучение *
Перевод


Когда мы создаем инфографику или постеры с данными, мы хотим привлечь внимание читателя: для этого изображение должно быть эстетически привлекательным и при этом убедительно доносить нашу мысль. Есть множество графических библиотек для создания графиков с помощью Python. Одна из них — это хорошо известная Matplotlib. Но графики, построенные ее стандартными средствами, часто выглядят скучными, и, чтобы оживить их, нужно потратить много времени.
Читать дальше →
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 1

Новости

Generative AI. Как программистам держать нос по ветру

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 219
Блог компании АСКОН Машинное обучение *Облачные сервисы *Искусственный интеллект
Мнение

Вряд ли найдётся тот, кто ещё не знаком с GhatGPT, MJ, StableDiffusion - такая популярность говорит сама за себя. Хайп вокруг генеративного искусственного интеллекта (далее - ИИ) не утихает и уже начинает немного надоедать. Но мы, как разработчики, должны оставаться в курсе событий и принимать реальность такой, какая она есть.

А реальность такова:

- Использование Copilot и его аналогов, ChatGPT и других генеративных нейросетей увеличивает вашу продуктивность.

- Бизнес активно ищет возможности оптимизировать процессы или внедрить новые фичи на основе генеративного ИИ.

Давайте разберём каждое из этих утверждений.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

YandexGPT в Браузере: как мы учили модель суммаризировать статьи

Время на прочтение 7 мин
Количество просмотров 6.9K
Блог компании Яндекс Браузеры Машинное обучение *Искусственный интеллект IT-компании
Неделю назад на сайте 300.ya.ru мы продемонстрировали возможности языковой модели YandexGPT применительно к задаче суммаризации текстов. С тех пор многое изменилось: мы обучили новую, более качественную модель, в пересказах которой в 4 раза меньше ошибок. А сегодня мы внедрили её в Яндекс Браузер. Может показаться, что мы просто взяли ту же модель, о которой уже рассказывали сообществу на примере Алисы, и прикрутили к ней кнопку в Браузере. Но не всё так просто. Да, наша базовая модель уже понимала, что такое суммаризация в общих чертах. Но для нас было важно добиться результата в нужной нам форме и с предсказуемым качеством. И вот тут-то начинаются нюансы.

Сегодня поделюсь с Хабром не столько новостью, сколько нашим опытом и советами из области дообучения моделей и промпт-инжиниринга. Расскажу, через что пришлось пройти нашей команде, чтобы модель начала делать то, что от неё ожидают.



Читать дальше →
Всего голосов 31: ↑30 и ↓1 +29
Комментарии 27

See and Tell: Сервис просмотра сериалов для слабовидящих

Уровень сложности Средний
Время на прочтение 4 мин
Количество просмотров 530
Python *Машинное обучение *
Из песочницы

Весной 2023 года прошел хакатон MTS True Tech Hack, на котором был представлен кейс улучшения сервиса просмотра видео для людей с ограниченными зрительными способностями. Предоставить решение во время хакатона нам не удалось, но зато за следующие два месяца мы смогли закончить пилотную версию сервиса, помогающего слабовидящим людям лучше понимать происходящее на экране. В этом посте мы решили поделиться результатами и деталями проделанной работы.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 6

Истории

Сложности MVP или как мы смотрели 40000 видео

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.6K
Big Data *Машинное обучение *
Из песочницы

MVP, он же Minimal Viable Product, представляет собой базовую (ванильную) версию продукта и содержит только самый необходимый функционал. По сути это пробник, который служит для оценки рисков и оправданности вложений в полноразмерный продукт. MVP может иметь разный вид: пробный образец, тестовая партия, или уже готовый продукт, но с урезанным функционалом.

MVP - это отдельный вид искусства, где нужно за короткое время доказать, что ты можешь предложить бизнесу решение, которое поможет достичь поставленных продуктовых целей, за оправданную цену. Это своего рода спидран большого проекта. Про такой MVP как раз и пойдет наш разговор.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 1

Как мы с помощью Kubeflow Pipelines оптимизировали обучение ML-моделей

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.2K
Блог компании VK Машинное обучение *

Расскажу, как мы оптимизировали обучение моделей, внедрив инструмент Kubeflow Pipelines в нашу практику. Я хочу показать, чем Kubeflow Pipelines может быть полезен ML-специалисту и как в нём без потери существующей кодовой базы можно запускать готовые пайплайны.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 0

LLM API для Java

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2K
Блог компании Failover Bar Программирование *Java *Машинное обучение *
Обзор

Прочитав сегодняшнюю статью о том, как в Сан-Франциско массово собираются LLM-щики, коллега сказал — "лучше б там собирались BDSM-щики, это, по крайней мере, понятное развлечение". Для человека не посвященного, "нейросети" — это всё ещё что-то про Python и математическую статистику.

Тем не менее, можно кусать низко висящие фрукты и с помощью Java, дергать API для Chat GPT, и тогда ничего учить не придётся. В этой статье будут ссылки на несколько фреймворков с простым API для жабы и котла, которые можно использовать хоть сейчас.

Волшебно. Читать далее.
Всего голосов 8: ↑5 и ↓3 +2
Комментарии 4

Нейронные сети не могут обобщать периодические зависимости. Как это исправить?

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 2.1K
Python *Big Data *Математика *Машинное обучение *Искусственный интеллект
Из песочницы

Изучая нейронные сети все глубже, сталкиваешься с тем, что не ко всем задачам применимы полносвязные глубокие нейронные сети с классическими слоями Linear и слоями активации Relu, Sigmoid, Than и их вариации. Почему не используют остальные функции в качестве активации, например, периодические?
В целом, периодические функции являются одними из основных функций, важными для человеческого общества и естествознания: суточные и годовые циклы в мире диктуются периодическими движениями солнечной системы, графики изменения погоды, показателей мировой экономики также включают периодическую компоненту.

Читать далее
Всего голосов 25: ↑20 и ↓5 +15
Комментарии 5

Эволюция метрик качества машинного перевода — Часть 1

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 704
Машинное обучение *Natural Language Processing *
Обзор

Как правильнее всего измерять качество машинного перевода? Многие слышали о BLEU, но на самом деле метрик много. В этой статье расскажем, какие существуют метрики, как они эволюционировали и какие сегодня наиболее адекватны. Часть 1: эволюция метрик и обзор традиционных метрик.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Как стать магистром по ML за 2 года

Время на прочтение 10 мин
Количество просмотров 1.9K
Блог компании ИТМО Программирование *Машинное обучение *Учебный процесс в IT

Год назад в ИТМО открылась новая магистратура по искусственному интеллекту. Мы отказались от академического подхода, посмотрели на примеры лучших инженерных школ и стажировок, да и в целом от мира образования, и пригласили ИТ-компании для участия в подготовке высококвалифицированных кадров.

В этой статье рассказываем о том, как построено обучение и над какими проектами здесь можно работать. В конце вы найдете ссылку на конкурс проектов для поступления на следующий учебный год.

Читать далее
Всего голосов 9: ↑6 и ↓3 +3
Комментарии 5

Sarsa: алгоритм, основные принципы и применение

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 810
Блог компании OTUS Машинное обучение *Искусственный интеллект
Обзор

В области искусственного интеллекта и машинного обучения, SARSA (State-Action-Reward-State-Action) является одним из фундаментальных алгоритмов обучения с подкреплением. Он широко применяется в реализации различных задач, включая игровые приставки, роботов и системы автопилотирования. В данной статье мы рассмотрим определение SARSA и обсудим его значимость в области искусственного интеллекта и машинного обучения.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 1

«Магия вне Хогвартса», или Как разделить аудиосигнал на источники, обогнав существующие решения

Время на прочтение 8 мин
Количество просмотров 2.2K
Блог компании VK Машинное обучение *Звук

Привет, хабровчане! Меня зовут Дмитрий, я студент первого курса Вышки магистерской программы «Системный анализ и математические технологии».

В октябре прошлого года я прошёл отбор в Инженерно-математическую школу (ИМШ). Это совместная образовательная программа VK Education и НИУ ВШЭ. Я стал участником мастерской по прикладному искусственному интеллекту. В одном из проектов мы командой из двух человек (да, нас было мало, но мы были сильны!) решили реальную технологическую задачу под руководством эксперта VK и научных сотрудников университета. Нам нужно было придумать технологию разделения аудиосигнала на источники. В команде я отвечал за подготовку данных, а мой коллега — за проведение экспериментов. Хочу рассказать вам подробно, как мы решали эту задачу – надеюсь, что это будет для вас полезно.

Читать далее
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 11

Как я покорил ИТМО и поступил в магистратуру по ИИ без экзаменов

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 2.5K
Блог компании AI Talent Hub Машинное обучение *Учебный процесс в IT Карьера в IT-индустрии Искусственный интеллект
Мнение

Привет, друзья поступающие! Меня зовут Даня Картушов, и сегодня я хочу поделиться с вами историей, которая может изменить ваше представление о поступлении в университет. Выбор темы для статьи для меня стал важным этапом. Ведь, кажется, за последние 12 недель я прошел через невероятные испытания, досрочно поступил в магистратуру по ИИ от AI Talent Hub, @NapoleonITи ИТМО а также понял, что настоящая сила — в сообществе, которое позволяет тебе стать лучше и в уверенности, что ты на верном пути.

Читать далее
Всего голосов 12: ↑7 и ↓5 +2
Комментарии 9

Кодеки новой эпохи: HEVC, AV1, VVC и нейросети

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 8.2K
Блог компании RUVDS.com Работа с видео *Алгоритмы *Сжатие данных *Машинное обучение *
Аналитика
Сжатие с учётом контекста, источник: WaveOne (сайт удалён)

Хотя новые стандарты кодеков появляются каждые десять лет, все они основаны на пиксельной математике — манипулировании значениями отдельных пикселей в видеокадре для удаления информации, не важной для восприятия. Другие математические операции уменьшают объём данных после первоначального кодирования.

В новом поколении кодеков алгоритмы машинного обучения используются для анализа и понимания визуального содержания видео, выявления избыточных данных и более эффективного сжатия. Вместо написанных вручную алгоритмов, тут применяют методы Software 2.0, основанные на обучении. Данная область развивается на протяжении десятилетий, но в последние годы получила сильный толчок. Все знают, что в 2017 году произошёл прорыв в разработке ИИ благодаря изобретению трансформеров. В свою очередь, они основаны на концепции внимания, которую придумали в 90-е. Эта техника впервые позволила соотносить друг с другом отдельные части текста или видеокадра.
Читать дальше →
Всего голосов 54: ↑52 и ↓2 +50
Комментарии 24

Распознаем лючки бензобаков

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 9.6K
Обработка изображений *Машинное обучение *Робототехника
Из песочницы

Привет, Хабр! Однажды, я решил создать автоматическую автозаправочную станцию. Один из ее компонентов - роботизированная "рука", для автоматической заправки транспортных средств, независимо от марки/модели. Данная рука последовательно открывает лючок бензобака, отвинчивает крышку горловины бензобака, вставляет заправочный пистолет, осуществляет заправку автомобиля и возвращает все на место. В данной статье я хочу рассказать о том, как осуществлялось распознавание лючка бензобака для корректного позиционирования "руки" в пространстве и определения места присоединения присоски. Давайте посмотрим - как эта задача была решена.

Читать далее
Всего голосов 30: ↑29 и ↓1 +28
Комментарии 100

Прогулка по мостам Кёнигсберга с ORtools

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.3K
Математика *Машинное обучение *
Кейс

На выходных впервые удалось выбраться в Калининград. Я уделил немало внимания исследованию уровня жизни и благополучия области, в основном, ориентируясь на стоимость покупки/аренды жилья, цены в ресторанах и заработок таксистов. Данные достаточно доступные и позволяют сформировать общее представление о положении дел в городе/области.

Помимо экономической составляющей, конечно, старался погрузиться в культурный/исторический аспект жизни города. За короткий промежуток времени достаточно сложно проникнуться всеми особенностями, однако в Калининграде я бы выделил верное следование ограничениям скорости! Благодаря этому, возникает ощущение безопасности, замедления времени и спокойствия.

История города богатая, и в этом мешке событий я нашел кое-что интересное для себя. Речь пойдет о задаче семи пешеходных мостов Кёнигсберга. В свое время Эйлер в процессе размышлений над решением этой задачи положил начало теории графов. В статье рассмотрим задачу с позиции задачи линейного программирования и подтвердим результаты трехсотлетней давности с помощью Python и OR-Tools.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 8

RuGPT3. Исследование вариантов циклическим перебором

Время на прочтение 7 мин
Количество просмотров 1.9K
Машинное обучение *Искусственный интеллект Natural Language Processing *

RuGPT3 - коллекция моделей от Сбер

Проводим автоматическое тестирование циклическим перебором вариантов.

Работаем в Colab, тестируем Small, Mediub, Large.

Параметры генерации совершенно неоптимизированы - это первый заход, чтобы посмотреть исходную ситуацию и сравнивать по мере улучшения.

Алгоритм тестирования
полный последовательный перебор

10 вопросов
3 модели: Small, Medium, Large
Несколько наборов параметров внутри каждой модели
Реплики сохраняем в гугл-таблице

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 2

Прогноз покупки страховки клиентами туроператора

Уровень сложности Средний
Время на прочтение 21 мин
Количество просмотров 863
Блог компании OTUS Машинное обучение *
Кейс

Всем привет! Данная статья является выпускным проектом выпускницы OTUS. Наталья попыталась сделать прогноз покупки страховки клиентами туроператора методами ML. Что из этого вышло, смотрите под катом.

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Комментарии 0

Prompt-инженер как новый тренд. Требования и зарплаты у специалистов

Время на прочтение 6 мин
Количество просмотров 3.6K
Блог компании МТС Машинное обучение *Карьера в IT-индустрии Искусственный интеллект Будущее здесь

Технологические компании со всего мира ищут квалифицированных и эффективных инженеров, которые бы облегчили общение с машиной и составление инструкций. Екатерина Саяпина, Product Owner личного кабинета платформы МТС Exolve, созданной компанией МТТ (входит в экосистему МТС), разбирается, как попасть в эту волну, какие вакансии представлены на рынке и чему стоит научиться, если вы хотите стать prompt-инженером. 

Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 8

Фильтруй базар! Как мы параллельный русско-башкирский корпус чистили

Уровень сложности Сложный
Время на прочтение 6 мин
Количество просмотров 1.6K
Python *Семантика *Data Mining *Машинное обучение *Natural Language Processing *

Чтобы обучать нейросети понимать и генерировать человеческие языки, нужно много качественных текстов на нужных языках. «Много» – не проблема в эпоху интернета, но с качеством бывают сложности. В этом посте я предлагаю использовать BERT-подобные модели для двух задач улучшения качества обучающих текстов: исправление ошибок распознавания текста из сканов и фильтрация параллельного корпуса предложений. Я испробовал их на башкирском, но и для других языков эти рецепты могут оказаться полезны.

Читать далее
Всего голосов 17: ↑17 и ↓0 +17
Комментарии 1

Вклад авторов

Работа

Data Scientist
125 вакансий