Комментарии 20
быстрее сливайте на авито, глупцы
Объем памяти все таки маловат. Я конечно не эксперт в нейронках ни разу, даже не любитель, но по мне даже маки больше под определение AI PC подходят. Так как в SoC их можно всю память как память для GPU использовать. Какие нибудь LLM на 15b параметров на m1 max с 32 гигами у меня летают (30 токенов в секунду генерация). Интересно было бы позапускать 70b и больше модели на каком нибудь m3 max со 128 гигами памяти. И сравнить с их же работой на какой нибудь 4080 super. Запустится ли оно на 4080 вообще или нет, и насколько поможет большая производительность но с меньшим объемом памяти.
Хотя для stable diffusion nvidia думается большую скорость работы даст, да.
15b параметров на карте с 16 Gb VRAM вполне себе будет работать, и даже меньше, квантование на 4-5 вполне неплохо. Вот только...как быть если хочется не 15 а хотя бы 70?
Вот да. При учёте того, что за 16к можно купить Tesla P40 от 2017 года с 24 Гб VRAM, выпуск 4070 супер-пупер с 16ю Гб - это несерьёзно.
Нет, я понимаю, что Nvidia не хочет канибализировать собственный рынок - но такими темпами её обойдёт AMD.
Вот именно, что не хочет себе в ногу стрелять, поэтому линейки карт для профи и геймеров чётко разделены. Тренировка нейросетей на игровых картах - удел энтузиастов. А для запуска локально и массово (для тех же НПС в играх) - проанализируют рынок и "оптимизируют" нейросетки под самое ходовое железо (8 Гб).
У АМД нет cuda, а ии блоки у них ещё сырые и и конкурировать напрямую не могут. Nvidia себя слишком хорошо чувствует. Я больше верю в то, что завтра (с выходом Battlemage) Интел начнет конкурентную гонку за ии с зелёными. Nvidia играючи может поднять производительность карт за счёт объемов памяти и ширины шины, но не делает этого осознанно и специально, паралельно продавая старые запасы прошлых поколений карт с большИми объемами памяти.
Проблема амд в сыром ПО. Их ROCm не дотягивает по уровню поддержки cuda. Про их ИИ блоки, особенно тот "ии-ускоритель", что они встроили в новый райзен, я вообще промолчу.
Однако, я бы хотел заметить две вещи. Первое - мы получили 12Гб на 3060 именно из-за АМД. Второе - сейчас начинают выходить LLM-бекэнды с поддержкой даже Vulkan. Я серьёзно. Конечно, скорость инференса будет страдать - но с учётом того, что люди покупают карточки аж 2017 года, ту же Tesla P40, ради 24 гигов видеопамяти, то если дать им достаточно видеопамяти, они и АМД, и Интел, и Вуду сожрут).
Вот здесь есть разные тест видеокарт по скорости обработки. В том числе и Apple Silicon. Может добавят новые видеокарты
Какие игры? Я как 3060 купил, она еще ни одну игру не видела :) Нейронки наше всё. А если их в игру встроят, то я готов даже на графику 1995 года, а хоть даже 1985 где треугольнички и квадраты общаются, если персонажи на основе GPT где то в подземелье будут вести диалоги и действовать нестандартно. Вот этот момент должен сильно встряхнуть индустрию игр, картинку генерить научились, а гемплей по большей части унылый. Пускай игра сама себя придумывает. Чтобы даже разработчики не знали о финале. И даже с читами и god mode пройти игру было бы нетривиально. Это как "открытый мир" но в другое измерение. Больше походящее на реальность)
Вы уже можете поиграть в любую игру, которую только можете придумать - просто возьмите чат-модель, сделайте нескольких персонажей, и играйте.
И быстро столкнётесь с тем, что у языковых моделей память как у рыбки.
Игрокам на самом деле не нужна непредсказуемость и случайность, как в реальной жизни. Им нужно целостное повествование, где всё, что происходит, имеет значение. А языковые модели сейчас очень посредственно справляются с тем, чтобы делать такое повествование.
А если пытаться подружить модель с игровой логикой - т.е. загнать модель в рамки игровых правил и объектов - то мы получаем либо генератор описаний и flavour-текста, который всё равно никто не читает, либо генератор имбы, который в первой же комнате подземелья спавнит Легендарный Святой Меч и Короля Демонов.
Я уже пытался сделать dungeon - crawler, основанный на сборе и комбинировании предметов, и у меня не удалось найти баланс , при котором игрок может использовать огниво на свече, чтобы получить горящую свечу, но не может использовать камень на подсвечнике чтобы получить корову.
Баланс игры - это уже уровень повыше, недоступный пока таким ГПТ. Но они уже, в текстовом варианте могут придумывать такие сценарии, что дух захватывает. А на этой основе можете хоть стрелялку на уровне дума, хоть циву, хоть факторио. Но принципиально нового они не предложат, разве что очччень интересные варианты. Я почему эти игры привожу в пример - ну потому что они уже на уровне классики и их многие знают. Я не игродел и этой темой не занимался особо, но попробовать - отчего же бы нет? В итоге мне там такое выдало, что даже тут писать нельзя. Никаких матов, просто НЛО боимся, летает.
Другое дело что вот из за этой всей цензуры любые игры без рельсов начнут запрещать, если не уже.
Дух захватывает только поначалу. А после ~10к токенов появляется ощущение, что история никуда не идёт, мир - аморфный, и в нём ничего интересного не происходит, а герои - картонки без индивидуальности. Начиная с эпохи AI Dungeon и до сего дня на форумах постоянно появляются посты на тему "Вначале всё было супер, а сейчас всё не то, модель выдаёт какой-то шлак. Я сделал что-то не так?".
Легко заставить модель быть креативной. Но заставить её быть креативной и консистентной, заставить помнить все факты о мире и персонажах, а потом суметь правильно извлечь эти знания - вот это главная проблема.
А если вам хочется игр без ограничений - могу посоветовать настольные ролевые игры, вроде DnD. Потому что мясной человек обычно умеет креативить там, где надо, и держать всё на рельсах в остальное время.
Я вижу три пути исправления этой проблемы. Первый - наращивание мощи. Баналько три видеокарты установил, и вот на одной просчитывается GPT небольшой, на другом графика, а на третьем происходит компрессия этих самых токенов. Нет никакого технического ограничения на токены, кроме имеющегося железа.
Второй - Графика генерируется на своей видеокарте, логика ИИ отдается на сервер.
Третий. Опенсорсное распределение мощности гпу среди участников. Хотя бы и с временным разделением.
И да, с таким подходом "игровой комп" станет в 50 раз дороже обычного игрового. Ну что ж, таковы издержки. Я про облака кстати ни слова, потому что эта технология тупиковая если речь про чужие облака. А если свои - то скинутся тыща геймеров на железо, его где то надо держать, потом смотрим стартап родился потом смотрим стартап железо продал и геймеры вместо платы за эл-во и аренду с амортизацией, уже бодренько отстегивают очередной корпорации с наценкой, чтобы прокормить кучу бездельников внутри. А та корпорация потом внезапно берет и закрывает всё. Идите вон по тарифам.
Знаем-знаем, как это бывает. Эта модель развития бизнеса совершенно грабительская и ориентирована на "нахапать и закрыть".
Без таблиц сравнения такие статьи очень тяжело воспринимать.
Отличная новость.
Правда мне интересны не сами новинки, а вопрос "На сколько подешевеют существующие карты?" - например, обычный и игровой вариант 4070. Ибо цены на них просто неадекватные. Но это станет понятно через некоторое время...
CES с проходила с 8-12 января. У вас написано NVIDIA представила 8 декабря.
Nvidia выпустила три новых видеокарты и заявила о лидерстве в гонке систем AI PC. Что это за адаптеры?