Комментарии 9
Спасибо. Те кто делает свободные модели - делают важное дело. Модель которая, условно, не может назвать кошку кошкой, потому что она чёрная - не многого стоит.
Свободная не значит не зацензуренная, если модель будет называть негра негром, то создателей быстренько прикроют любители повесточки. И мистраль вполне себе зацензуренная.
Спасибо за уточнение...
Ха. Появляется интересный вопрос - поддерживает ли система патчи?
Например, возможно ли, в принципе, пропатчить нейросеть блоком содержащий специфический ирландский юмор;) Если отдельные блоки можно подгружать из отрытого и свободного рынка, то это ни разу не будет не цензурой. Даже если они будут платными за вменяемую и доступную цену. А еще лучше создаваться через краудфандинг...
Во-первых, ничего с создателями такой нейронки не сделают - достаточно написать, что "наша модель может высказывать оскорбительные высказывания", и всё. А возмущение стада в СМИ ничерта не стоит.
Во-вторых, если якобы прогрессивненький чувачок-разраб боится нарушать всякие "повесточки" - то он не программист, а бзделивый конёк.
Нигде не нашёл главного:
Какое железо нужно чтобы это запустить. Но подозреваю что 3090 это не переварит.
Output generated in 6.38 seconds (7.52 tokens/s, 48 tokens, context 70, seed 966404171)Она же всего 7b - сносно работает даже на голом cpu (результат выше с 2696v4 \ память 2400 в вм esxi)
переварит. 14gb весит, как правило и памяти столько же надо.
Современные методы квантования сильно снизили требования к железу при минимальной потере качества.
Та же Llama 2_7b спокойно запускается на RTX 3060 и выдает порядка 35 токенов в секунду при квантовании 6_K.
Не вполне понятно, за счёт чего добились превосходства над более жирными LLaMA. Может, они тренировали свою сеть на тестовых примерах?
Mistral AI выпустила открытую языковую модель, которой можно пользоваться бесплатно через API и локально