Как стать автором
Обновить
566.9

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Как художники за рабочие места с ИИ борятся

Уровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 283

Громоподобный шаг научно-технического прогресса слышен издалека: сквозь года до нас доносится эхо шагов из будущего. Шрамы ран, полученных в предыдущие промышленные революции, априорные, переданные через учебники и опыт предков, болезненно сжимаются под воздействием этого эха. Как и всё великое, дела человечества пугающе красивы.

Наверное, поэтому все мы стали в той или иной мере, но скажем честно, опасаться ИИ заранее. А пока фантазировали, он зашёл не совсем оттуда, откуда его ждали. 

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 0

Новости

Разметка трёхмерных моделей миокарда

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 122

Здравствуйте, мы студенческая команда APIzza. Мы хотим поделиться с вами нашим опытом по разметке трёхмерных моделей из набора данных MedShapeNet, который был опубликован в 2023 году.

Так как набор данных включает в себя огромное количество трёхмерных моделей внутренних органов, кровеносных сосудов и костей, то было принято решение остановиться на разметке сердца, а точнее, миокарда.

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 0

Статистика на примерах с Python #1

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 3.9K
Читать далее
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 6

Как ответить на любой вопрос на собеседовании по проектированию систем машинного обучения

Время на прочтение 7 мин
Количество просмотров 3.2K
Шпаргалка для ответа на любой вопрос о проектировании систем машинного обучения на вашем следующем собеседовании.

Этот шаблон поможет вам ответить практически на любой вопрос о проектировании системы машинного обучения, который вы можете получить на собеседовании. Важно отметить, что этот шаблон намеренно типовой, так что, когда вы найдете новый вопрос по проектированию системы, вам будет легко заполнить каждый раздел.

Ниже приведен обзор шагов, которые необходимо предпринять, когда вы проходите собеседование на тему проектирования системы машинного обучения:

image
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Комментарии 0

Истории

Как нейросети помогают изучать снежных барсов: о проекте Сайлюгемского парка и Yandex Cloud

Уровень сложности Простой
Время на прочтение 12 мин
Количество просмотров 1.4K

Снежный барс (ирбис) — один из самых редких видов больших кошачьих, который обитает в горных районах. С 2000 года снежный барс занесён в Красный список МСОП как «находящийся под угрозой исчезновения», а с 2017 года ирбисам присвоен статус уязвимого вида.

Такие животные нуждаются в особом наблюдении. Для мониторинга их поведения, состояния и численности учёные используют фотоловушки — автоматические камеры, которые устанавливаются на звериных тропах. Но чтобы отсмотреть и отсортировать все изображения c ловушек вручную, исследователи могут потратить несколько недель.

Меня зовут Михаил Добрицын, я учусь в Школе Анализа Данных Яндекса. В 2023 году совместно с Сайлюгемским национальным парком и другими студентами мы обучили нейросеть, которая поможет учёным быстрее находить снежных барсов и других животных на снимках и узнавать больше об их маршрутах. В этой статье расскажем, как создали собственный датасет для обучения такой нейросети, как тренировали модель, какие результаты получили сейчас и как планируем развивать это решение.

Читать далее
Всего голосов 28: ↑28 и ↓0 +28
Комментарии 8

Пишем первое приложение в магазин OpenAI

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 6K

Совсем недавно вышел магазин приложений от компании OpenAI, под названием GPTs.

Давайте попробуем сделать первое приложения и опубликовать его.

Читать далее
Всего голосов 6: ↑3 и ↓3 0
Комментарии 22

Почему в чат-ботах не сделают кнопку «Вызвать оператора»?

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 4.4K

Всем привет, меня зовут Валентина Тарадайко и я владелец платформы «Чат-бот и IVR» в М.Тех. У пользователей часто возникает вопрос, почему крупные компании с мощным технологическим стеком, внушительными бюджетом и штатом сотрудников никак не добавят вожделенную кнопку «Вызвать оператора». Ведь речь идёт о ведущих российских компаниях - М.Видео, Озон, Мегамаркет и других. Чат-боты все умнее, благодаря прорыву c генеративным искусственным интеллектом, но попасть на оператора порой не проще, чем достучаться до небес. Попробую рассмотреть основные причины и поделиться опытом, который заставит усомниться в необходимости этой бесхитростной фичи.

Читать далее
Всего голосов 63: ↑34 и ↓29 +5
Комментарии 46

Forecasting Mini-Course Sales или же Прогнозирование продаж мини-курсов по нашему на Kaggle

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 692

Привет читатель,эта стать является переводом решений соревнования Forecasting Mini‑Course Sales на Kaggle и дополнениями от автора данной статьи.

Новички и уже хлебавшие данные люди могут найти здесь что-то интересное или новое,да и в принципе провести время полезнее ,чем листать ленту в тиктоке или запрещенных сетях.

Приятного прочтения.

погрузись в пучину алгоритмических мыслей
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 0

Обнаружение движущихся объектов с помощью OpenCV с использованием обнаружения контуров и вычитания фона

Время на прочтение 12 мин
Количество просмотров 6.1K

Обнаружение движущихся объектов широко используется в самых разных приложениях, от видеонаблюдения до мониторинга дорожного движения. Это важнейшая задача в постоянно развивающейся области компьютерного зрения. Библиотека OpenCV с открытым исходным кодом, известная своим полным набором инструментов для компьютерного зрения, предоставляет надежные решения для обнаружения движущихся объектов. В этой статье рассмотрим комбинацию обнаружения контуров и вычитания фона, которые можно использовать для обнаружения движущихся объектов с помощью OpenCV.

Читать далее
Всего голосов 13: ↑12 и ↓1 +11
Комментарии 8

Mamba. От начала до конца

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 17K

Во времена повсеместного заполонения трансформерами, которые пожирали в себя все больше и больше кремниевых чипов; когда казалось, что лучше уже не будет и за каждый новый токен нужно платить в квадрате от предыдущих, в эту холодную зимнюю пору появилась она - Мамба.

Читать далее
Всего голосов 26: ↑25 и ↓1 +24
Комментарии 19

С новым годом: GPT в 500 строках на SQL

Время на прочтение 42 мин
Количество просмотров 25K

В минувшем году все только и говорили об ИИ и о том, как он может всё за вас сделать.

Мне нравится, когда кто-то или что-то работает за меня. Поэтому решил: попрошу-ка ChatGPT написать за меня новогодний пост:

«Эй, ChatGPT. А ты можешь реализовать большую языковую модель на SQL?»
«Нет, SQL не подходит для реализации больших языковых моделей. Язык SQL предназначен для выполнения запросов к данным, хранящимся в РСУБД и для управления этими запросами. Для реализации большой языковой модели требуются сложные алгоритмы, обширные датасеты, а зачастую — и фреймворки для глубокого обучения. SQL всеми этими возможностями не обладает.»

Что ж, лишний раз убеждаешься, что, если хочешь что‑то сделать хорошо – сделай это сам.

Давайте же воодушевимся этим оптимистическим планом и реализуем большую языковую модель на языке SQL.

Читать далее
Всего голосов 194: ↑190 и ↓4 +186
Комментарии 18

Уродливая математика в машинном обучении или чему нам стоит поучиться у деривативов?

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 8.9K

Когда слушаешь доклады на больших ML-конференциях, то часть докладов вызывает восторг, но другая часть на послевкусии вызывает странное чувство. Да, доклад может быть очень крутым, математика блестящей, сложность крышесносной, но что-то как будто бы не так.

Эта статья — развлекательно-философская, все совпадения с реальностью — случайны, персонажи вымышлены, с точкой зрения — можно не соглашаться, но поразмышлять — стоит.

Да при чем здесь вообще деривативы? А просто у деривативов, дженги и машинного обучения — много общего, давайте разбираться.

Читать далее
Всего голосов 13: ↑9 и ↓4 +5
Комментарии 13

OpenAI запускает GPT Store — как создать свой custom GPT с внешними API вызовами

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 8.4K

Вчера вечером, 10 января 2024 г., OpenAI официально запустили GPT Store.

Давайте разберемся, что это такое, и что оно дает. А затем создадим свой собственный GPT и добавим его в GPT Store.

Концепция "custom GPT" в терминах OpenAI - это кастомный набор инструкций (custom prompt), который может быть создан любым пользователем ChatGPT с подпиской Plus. Каждый такой custom GPT за счет своего набора инструкций хорошо заточен под решение своей конкретной задачи. Есть custom GPT, которые хорошо пишут код, есть custom GPT, которые играют роль репетитора или психотерапевта и т.д.

Таким образом, GPT store - это большая библиотека инструкций для разных задач внутри ChatGPT. Она создается и поддерживается комьюнити и очень сильно напоминает google play market или apple app store.

Процесс создания Custom GPT заключается в том, что в интерфейсе ChatGPT пользователь составляет подробные инструкции, что и как его GPT должен делать, дает описание, придумывает название, примеры использования и т.д. - всё это сохраняется на серверах OpenAI.

Читать далее
Всего голосов 29: ↑29 и ↓0 +29
Комментарии 8

Ближайшие события

Энергетика Будущего: Как искусственный интеллект помог разработать батарею с 70%-ной экономией лития

Уровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 7.8K

Литий-ионные батареи, как известно, являются источником питания множества гаджетов, электромобилей и других устройств, без которых трудно представить нашу повседневную жизнь. При этом добыча лития наносит ощутимый экологический ущерб, а цены на него постоянно растут. 

Потенциальный поиск альтернатив занял бы годы кропотливых исследований и тестирования миллионов вариантов новых материалов. Однако команда под руководством Нейтана Бейкера из Microsoft смогла решить эту задачу всего за несколько месяцев, опираясь на мощь искусственного интеллекта. Им удалось разработать опытный образец батареи с содержанием лития на 70% меньше относительно ряда альтернатив.

Методы, использованные в работе, являются передовыми с точки зрения инструментов машинного обучения, а результаты приятно впечатляют.

Давайте вместе окунемся в процесс исследования!

Читать далее
Всего голосов 24: ↑22 и ↓2 +20
Комментарии 27

Семантический поиск и генерация текста на R. Часть 1

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.4K

Для этой задачи использую LLM (Large Language Models - например, chatGPT или opensouce модели) для внутренних задач (а-ля поиск или вопрос-ответную систему по необходимым данным).

Я пишу на языке R и также увлекаюсь NLP (надеюсь, я не один такой). Но есть сложности из-за того, что основной язык для LLM - это python. Соответственно, на R мало примеров и документации, поэтому приходится больше времени тратить, чтобы “переводить” с питона, но с другой стороны прокачиваюсь от этого.

Чтобы не городить свою инфраструктуру, есть уже готовые решения, чтобы быстро и удобно подключить и использовать. Это LangChain и LlamaIndex. Я обычно использую LangChain (дальше он и будет использоваться). Не могу сказать, что лучше, просто так повелось, что использую первое. Они написаны на питоне, но с помощью библиотеки reticulate всё работает и на R.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 4

Использование машинного обучения для борьбы с DDoS атаками

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 1.5K

В настоящее время фиксируются реальные атаки DDoS более 1 Тбит/с. Так, например, атака 2018 год на GitHub достигла пикового объема трафика в 1,35 терабит в секунду, превосходя любую ранее зарегистрированную атаку. При этом растет количество сложных атак на протоколы прикладного уровня. Эти атаки воздействуют на ключевой принцип информационной безопасности - доступность информационных ресурсов.

Машинное обучение становится всё более востребованным в каждой области, включая защиту от DDoS атак. Идентификация вредоносного трафика в компьютерных системах может быть достигнута путем использования алгоритмов машинного обучения при анализе и обнаружении DDoS-атак для повышения безопасности компьютерной сети. Модули обнаружения DDoS-атак анализируют собранные данные для оценки риска безопасности, создаваемого сетевыми подключениями, в то время как алгоритмы машинного обучения, обученные на предыдущих задачах и обратной связи, расширяют свои возможности прогнозирования за счет адаптивных изменений.

Читать далее
Всего голосов 6: ↑4 и ↓2 +2
Комментарии 5

Маленькая история импортозамещения о разработке системы автоматического мониторинга моделей Alfa-MRM

Уровень сложности Простой
Время на прочтение 9 мин
Количество просмотров 721

В Альфа-Банке безостановочно ведутся работы по созданию и обновлению статистических моделей. Чтобы выявить момент, когда модель перестала соответствовать критериям качества установленным в банке, требуется регулярный мониторинг. Это задача нашего подразделения — регулярно мониторить модели, которые находятся в продуктивном контуре, собирать метрики по качеству моделей. Так как мы за эффективность, то мониторим модели автоматизировано.

В задаче автоматизированного мониторинга есть два условия:

Нам нужен реестр моделей, для понимания, что мониторить сейчас, а что необходимо мониторить завтра.

Нам нужно ПО которое будет выполнять мониторинг с необходимой периодичностью и с заданными критериями оценивания.

Для выполнения первого условия у нас есть интеграция с Jira и пользовательский интерфейс, если необходимо внести модель, которой нет в Jira. Для выполнения второго до недавнего момента использовали разработку иностранной компании. Но теперь у нас есть своё.

Читать далее
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 1

Как мы победили в двух хакатонах Цифрового Прорыва. История первая

Время на прочтение 6 мин
Количество просмотров 1.4K

Привет, Хабр. Мы — команда Ling Bizkit (я — Никита Лаврентьев, Валентин Ануфриков, Матвей Липилин, Егор Плужник и Павел Рыбаков). И это наш рассказ о том, как можно заработать 3 миллиона за два дня. А точнее, о победе в хакатоне на одном из этапов «Цифрового Прорыва».

Читать далее
Всего голосов 13: ↑10 и ↓3 +7
Комментарии 4

Краткий обзор методик обучения визуально-языковых (мультимодальных) моделей

Уровень сложности Средний
Время на прочтение 12 мин
Количество просмотров 1.1K

Продолжаю разбор материалов на тему NLP в контексте работы переводчиков, на этот раз мы с практикантами решили поразбираться в том, как работают мультимодальные модели, т. е. как машины учатся находить соответствие не только между словами из разных языков, но и между картинкой и словами. Представляем вашему вниманию перевод статьи на эту тему.
Материал местами несколько академичный, но надеюсь, будет интересен не только нам.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 1

ИИ-решения в российском пищпроме – от контроля качества до прогнозирования спроса

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 635

В России АПК пока слабо использует искусственный интеллект (согласно данным ВШЭ за 2022 год, только 4,7% организаций сельского хозяйства внедряли ИИ), однако ситуация постепенно меняется. В 2023 году Минэкономразвития выбрало сельское хозяйство в целом и пищпром в частности в качестве приоритетных отраслей для внедрения ИИ. На уровне крупных агрохолдингов ИИ уже давно используется на всех этапах производства продукции — от управления полевыми работами до упаковки готовой продукции и взаимодействия с конечным потребителем.

ИИ открывает широкие возможности для производства продуктов питания. По данным Technavio, чаще всего на рынке пищевой промышленности технологии ИИ используются в логистике, продуктовом планировании и контроле качества. Отобрали в материале интересные кейсы внедрения ИИ в российской пищевой промышленности. 

Читать далее
Всего голосов 12: ↑6 и ↓6 0
Комментарии 1

Вклад авторов

Работа

Data Scientist
77 вакансий