Обзорное видео с доклада об особенностях обучения LLM для тех, кто в теме ML/DL, но хочет расширить кругозор в области работы с большими языковыми моделями. На основе личного опыта и обзора множества научных статей и инструментов. Ссылка на презентацию прилагается.
Новости
Стресс и выгорание в мире разработки ПО
Я хочу поднять тему, о которой в нашей сфере говорят недостаточно: «Психическое здоровье инженеров ПО, в особенности тех из нас, кто принял на себя роль лидера». Являясь соучредителем технологического стартапа, я часто испытываю тревожность. Это один из тех аспектов, которые сопутствуют нашей деятельности, но в описании вакансии не приводятся.
Если вспомнить конкретно 2017 год, то он стал для меня весьма неприятным. Я регулярно испытывал панические атаки, сидел на релаксантах и пытался писать код, находясь под серьёзным давлением дедлайнов и новых ответственностей. Тогда я как раз унаследовал от своего предшественника должность главы отдела информационных технологий. Теперь я отвечал за небольшую команду разработчиков. При этом наш стартап дал многим партнёрам множество обещаний. Моей же задачей была их реализация, и я мог их либо нарушить, либо выполнить. У меня получилось и то и другое.
Комфортная работа в Linux. ZRAM и гибернация — особенности взаимодействия
Далеко не все работающие на сегодняшний день компьютеры и ноутбуки имеют объём оперативной памяти, гарантированно перекрывающий потребности возложенных на них задач. Для ноутбуков среднего и нижнего ценовых сегментов типовой задачей может быть работа с большим количеством открытых вкладок браузера, для более дорогих ноутбуков или системных блоков — ресурсоёмкие игры, рендеринг, видеомонтаж, для серверов — базы данных и прочие требовательные к RAM задачи.
Когда RAM близка к заполнению, данные неактивных в данный момент приложений начинают выгружаться из неё на диск, в файл или раздел подкачки. Когда при запуске ещё одного приложения, открытии файла или вкладки браузера, потребуется срочно освободить нужный для этого действия объём оперативной памяти, пауза в работе компьютера может быть заметна, даже когда в системе стоит SSD. На HDD же, в случае запуска ресурсоёмкого приложения, подкачка может приостановить работу и на несколько десятков секунд. Кроме того, постоянная подкачка на SSD приводит к его ускоренному износу, что с учётом цены SSD, также не лучшее решение.
Если типовые задачи вашего компьютера требуют в 2-3 раза больше оперативной памяти, чем стоит в системе, наилучшим решением будет её увеличение. Если установить больше памяти невозможно технически (самый, пожалуй, острый пример — нетбуки на процессоре Atom с максимально возможным объёмом RAM 2 Гб) — ресурсоёмкие задачи лучше перенести на более мощный аппарат, а этот использовать только для офисно-браузерных задач (отдать детям или родителям). В случае же менее значительной нехватки (в пределах половины имеющегося объёма RAM), есть возможность улучшить ситуацию.
Чтение на выходные: «Интерфейс. Новые направления в проектировании компьютерных систем» Джефа Раскина
Джеф Раскин — специалист в области интерфейсов. Известен был, в первую очередь, тем, что однажды задумал создать удобный компьютер для простых пользователей, имя которому Macintosh. Как автор исследовал взаимодействие человека и машины с учетом принципов эргономики и когнетики. Дожил Джеф до 61 года и ушел в иной мир в 2005 году. При чтении делайте скидку на то, что с момента написания прошло более двадцати лет, и некоторые примеры интерфейсов могут показаться слишком уж олдскульными. Как и в случае с электронными часами для видеомагнитофона, которые упоминаются в этой книге.
Истории
ИИ под запретом. Gentoo вводит ограничения на использование искусственного интеллекта
Gentoo, один из самых популярных дистрибутивов Linux, ввёл запрет на принятие изменений, созданных при помощи инструментов генеративного искусственного интеллекта (ГИИ). Этот запрет охватывает различные аспекты работы над дистрибутивом. Так, разработчики больше не могут использовать ГИИ для написания кода, отчётов об ошибках или документации. Но не исключено, что в будущем эти изменения будут пересмотрены. Подробности — под катом.
Как общаться с базой знаний на естественном языке с помощью LLM и объективно оценить работу полученной системы
Привет, Хабр! Меня зовут Даниил, работаю в ML-отделе Doubletapp. В статье расскажу про особенности применения больших языковых моделей для оптимизации бизнес-процессов.
Большая языковая модель (LLM) — это тип языковой модели, который способен распознавать и генерировать осмысленные тексты, а также другие сложные типы данных (например, код). Такого рода модели обучаются на огромных массивах данных, чаще всего собранных из открытых источников.
Тем не менее LLM все еще имеют ряд проблем, одной из которых является галлюцинирование (придумывание фактов). Сложно винить модель за то, что она не знает, как устроен тот или иной процесс/продукт в вашей компании, и пытается придумать вразумительный ответ. Поэтому нужно подсказать LLM фактическую информацию, а она уже даст нам понятную человеку персонализированную реплику.
Такая система ответов на вопросы с использованием фактической информации называется RAG (Retrieval Augmented Generation).
Данная статья состоит из двух частей:
• мы рассмотрим построение RAG-системы на основе библиотеки langchain;
• объективно оценим работоспособность созданной системы, используя синтетические данные на русском языке с помощью фреймворка RAGAs.
Генеративные 3D-модели
Салют, Хабр! На связи Игорь Пасечник — технический лид направления XR RnD SberDevices. Сегодня я хочу рассказать про одно из наших направлений исследований — разработку генеративных моделей для 3D-контента.
Современные методы генерации 2D-контента, такие, как 2D-диффузионные модели (Kandinsky 3.0, SDXL), уже достигли впечатляющих результатов и несколько лет являются неотъемлемой частью современности, генеративные видео модели также активно развиваются. Кульминацией развития таких подходов, вероятно, станет представленная не так давно модель Sora. Тем не менее большинство из этих моделей до сих пор испытывают проблемы при генерации консистентных 3D-сцен и объектов.
С другой стороны стороны, существует конвенциональная 3D-графика, а также огромная индустрия и множество прикладных областей, включая игры, XR, дизайн, архитектуру, маркетинг, 3D-проектирование, где используются пайплайны на основе 3D-графики и производится контент на их основе. Методы создания 3D-моделей, такие, как ручное моделирование, 3D-сканирование и фотограмметрия, могут быть трудоёмкими, дорогостоящими и требующими специальных навыков. 3D-продакшн в общем виде использует множество инструментов для создания и рендеринга тяжелой фотореалистичной графики, адаптация генеративных 3D-пайплайнов под такие подходы достаточно тяжела из-за множества инструментов, которые такие пайплайны должны поддерживать. Также адаптация больших латентных генеративных 2D-моделей вроде SORA для прикладных задач фотореалистичной графики может стать альтернативой классическми пайплайнам на основе физического моделирования. Тем не менее, на текущий момент пайплайны работы с графикой, использующие базовый набор примитивов, включая меши, PBR-текстуры, простые модели освещения, закрывают множество прикладных задач и также могут быть востребованы у массового пользователя в случае их демократизации.
Трубка Гейслера — вакуумный насос. Распыление геттера разрядом
Известно свойство целого ряда металлов, в большей или меньшей степени распыляясь при нагревании в вакууме, связывать молекулы оставшихся газов. Явление широко применяется в электровакуумной технике. Как в виде встроенного одноразового элемента для доводки-откачки электровакуумных приборов (ЭВП), так и в виде отдельных высоковакуумных насосов различной производительности. Металлы в таком качестве называют геттерами, а насосы — геттерными. Поставим несложный эксперимент, демонстрирующий работу геттера, для чего изготовим специальную разрядную трубку.
Истории о вреде локальной оптимизации
Локальная оптимизация - один из самых частых инструментов эффективных менеджеров, благодаря которому из благих намерений складывается дорога к банкротству.
Занимаясь "улучшительством" отдельно взятых элементов, бизнес рискует выкинуть из стенных часов с кукушкой стрелки: с точки зрения механизма они делают бесполезную работу, создавая только избыточное давление. А потом уберут и кукушку, потому что она из-за изменения баланса начнёт петь невовремя. Оставшиеся элементы между собой будут весьма гармонично взаимодействовать, только для конечного пользователя от этого не будет никакой пользы.
В этой небольшой статье я приведу несколько случаев из бизнеса и не только, когда локальная оптимизация принесла вред. Когда решения о том, чтобы причинить эффективность в одном отдельно взятом элементе, в итоге создавали проблемы.
Неудачный ремонт ноутбука Acer V3-572: диагностируем неисправность с помощью тока и тепловизора
Привет, Хабр! Обычно я рассказываю, как легко и просто ремонтирую какие-либо устройства. Конечно, за этим процессом может скрываться несколько часов изучения платы: как под микроскопом, так и по схеме. Но чаще всего заканчивается хорошо — девайсы начинают работать, а мне радостно, что спас устройство от свалки или разборки.
Но бывают ситуации, когда ремонт заканчивается ничем, и его уже нет смысла продолжать. Возможно, потому что разрушена плата из-за жидкости и окисленных элементов. А может, потому что восстановление выходит слишком дорогим и затратным по времени — проще купить новый. Об одном таком случае, попытке ремонта модели Acer V3-572 (Z5WAH), сегодня и расскажу.
«Ревизорро» в IT: тестируем суммаризацию текста в GigaChat и YandexGPT
После появления на рынке API для беседы с ChatGPT 3.5 каждый второй заказчик решения на основе машинного обучения (ML) хочет внедрить у себя ИИ, который может красиво и содержательно общаться на русском языке.
Меня зовут Екатерина, я IT-архитектор команды SimbirSoft, специалист по ML и поклонница всего, что связано с обработкой текстов на естественном языке (NLP). Сегодня будем разбираться в тонкостях решения одной из популярных на рынке задач – автоматического составления аннотаций. Для эксперимента мы использовали две GPT-подобных модели, «заточенных» на русский язык: GigaChat и YandexGPT. Заявленный потенциал систем тестировали на текстах трёх жанров: научном, научно-популярном и художественном. Что из этого получилось, расскажем в статье.
Материал будет полезен тем, кто следит за тенденциями развития машинного обучения на рынке и в целом интересуется внедрением больших языковых моделей (LLM) в ML-проектах – для оценки их возможностей «из коробки».
Оживляем неизвестный дисплей от японского поезда/автобуса
Однако, рулить дисплеем, как правило, та ещё задача. «Особенно если динамическая индикация, да ну его, влом!» — подумал было я. Но у того же продавца обнаружилась и, судя по всему, управляющая плата:
На фотографии виднеется 8085 процессор, 8251 UART и ПЗУшка — казалось бы, дизассемблируй себе, разбирай протокол, да просто с ардуины выводи что угодно. Да ещё и за одну йену, это прям даром! После этого я решил всё же попытать удачу и выхватить этот дисплей. Тем более, что давно уже хотелось какие-нибудь красивые часики в комнату…
Как мы тестируем беспилотные автомобили с помощью симуляций
Всем привет! Это Александр Чистяков из команды беспилотных автомобилей Яндекса. Мой доклад посвящён симуляторам: что это, зачем, как это устроено изнутри и какие в симуляции есть подводные камни, неожиданные парадоксы. Также расскажу, с помощью каких алгоритмических или архитектурных решений мы со всеми этими парадоксами боремся.
Ближайшие события
Фича стор, CLTV и как построить много моделей в короткий срок
Условия задачи: дано число клиентов банка N, число банковских продуктов М, горизонт времени прогноза Т. Нужно посчитать ( Pij ).
Привет, меня зовут Игорь Дойников, в Альфе я CDS — Chief Data Scientist в Розничном Бизнесе. Моя команда строит модели машинного обучения для розничного бизнеса Альфа-Банка. В статье я расскажу как, собственно, эту задачу решать и зачем. Сначала пройдёмся по CLTV, как бизнес постановки задачи мы перешли к задаче машинного обучения, какие при этом возникали проблемы и как мы их решали. А главное — что такое Feature Store и как этот инструмент помогает нам решать задачи СLTV.
Эффект Даннинга-Крюгера говорит о том, что люди не знают, чего они не знают
Эффект Даннинга-Крюгера описывает тревожащее когнитивное искажение, от которого страдаем все мы. Люди с ограниченными знаниями в какой-либо области склонны переоценивать свои знания — а пробелы в знаниях есть у всех нас. Это несоответствие может объяснить, почему некоторые пациенты обращаются к «доктору Google», чтобы на дому поставить диагноз в случае сложных медицинских проблем, а почему мы время от времени совершаем ошибки в разных областях, начиная от починки водопровода и заканчивая представлением себя в суде. За прошедшие годы эффект Даннинга-Крюгера превратился из научной гипотезы в популярный мем, который используется в перепалках в социальных сетях. В иерархии оскорблений найдётся немного более сильных аргументов, чем идея о том, что ваши оппоненты настолько глупы, что даже не знают, насколько они глупы. Это всего лишь один шаг до того, чтобы назвать другую сторону кучкой нацистов, так называемый «закон Годвина» — традиционный способ, которым заканчиваются пламенные войны.
Дэвид Даннинг, ныне социальный психолог из Мичиганского университета, и Джастин Крюгер, работающий в Нью-Йоркском университете, предложили свой одноимённый эффект в знаменитой работе 1999 года. Проведя серию опросов в сочетании с тестами, они обнаружили, что студенты из Корнелла, получившие оценки в нижнем квартиле, считают, что они получили оценки в третьей четверти, и выявили связанные с этим формы необоснованной самоуверенности. С тех пор Даннинг расширил свои исследования, изучая механизмы доверия и убеждений. Соредактор OpenMind Кори С. Пауэлл поговорил с Даннингом о его повсеместном эффекте и о том, как он влияет на самопознание каждого из нас. (Эта беседа была отредактирована для большей ясности).
Кибернетическая музыка или как советский компьютер написал первый вальс
Словосочетанием 2023 года по версии словаря Collins Dictionary стал ИИ (AI) — искусственный интеллект, что совсем не удивительно. Последние пару лет о потенциальной безграничности возможностей ИИ размышляют ученые, пытаясь внедрять все новые и новые решения, проверяя теории на практике. Обычные же люди весьма давно пользуются ИИ, иногда даже не подозревая об этом.
Нас не удивляет, что благодаря ИИ пишутся тексты, картины, музыка, выявляются заболевания и кибератаки. Привыкли мы и к тому, что инновации, связанные с ИИ чаще всего, приходят к нам из-за рубежа. Какого же было мое изумление, когда я узнала, что одним из первых, кто серьезно и основательно задумался о том, что музыку может написать машина при помощи математических формул был – советский ученый Рудольф Зарипов в далеком 1950. И не только задумался, но доказал такую возможность на практике. В материале постараюсь рассказать подробнее!
Что умеет новый чат-бот Chat with RTX от Nvidia, чем отличается от ChatGPT и как им пользоваться
Самые крутые видеокарты GeForce оказались в дефиците во многих странах мира из-за массового спроса со стороны Китая. Там они используются в основе супер-компьютеров, применяемых для развития нейросетей. Nvidia не могла не догадываться, в каком ключе используются ее видеокарты, обладающие колоссальным вычислительным потенциалом. И, вместо того, чтобы бороться с этой инициативой, решила возглавить ее и запустила свой собственный чат-бот Chat with RTX.
Лист золота толщиной один атом
Химические и физические свойства материалов могут меняться в ответ на воздействие тех или иных факторов. К ним могут относиться как внешние (температура среды, приложенное давление, направленное излучение и т. д.), так и внутренние. К таковым относится и габариты, а точнее толщина данного материала. Ученые очень долго пытались создать лист золота толщиной в один атом, так как такой лист будет обладать рядом полезных свойств, которые не присущи трехмерному «куску» золота. Однако успеха в этом начинание не было до сего дня. Ученые из Линчепингского университета (Швеция) смогли наконец то создать одноатомный лист золота. Как именно им это удалось, какими свойствами обладает новый материал, и в каких отраслях он может быть использован? Ответы на эти вопросы мы найдем в докладе ученых.
Дрон художник нарисовал самую большую картину и другие необычные применения Robot Operating System на ROS Meetup 2024
Репортаж с прошедшего мероприятия по Robot Operating System (ROS) - фреймворку, который предназначен для разработки программного обеспечения роботов. В него входит целый набор различных инструментов, библиотек и определённых правил, цель которых — создать единую и удобную среду разработки роботов. Выкладываем видеозаписи докладов с подробными описаниями.
Портативное прототипирование электроники
Если при разработке электроники вы часто сталкиваетесь с задачей собрать в кучу россыпь модулей и проводов на столе, чтобы иметь возможность производить отладку в другом месте, эта статья для вас.
Хабы
Вклад авторов
alizar 117471.6marks 91329.1lozga 26676.6Zelenyikot 25529.0ivansychev 17524.2AlexeyNadezhin 16257.2Tylerskald 12117.0Dmytro_Kikot 11637.0Milfgard 10429.0Seleditor 10421.1