![](https://webcf.waybackmachine.org/web/20230725111741im_/https://habrastorage.org/r/w1560/getpro/habr/upload_files/8f0/514/9c6/8f05149c618aea202c9ce95ed0e2204b.png)
Тут я рассказывал как можно использовать магию низкорангового разложения (Low Rank Adaption) матриц для того что бы легко дообучать большие текстовые модели. Сейчас же я напишу свою реализацию LoRA используя PyTorch, переведу весь датасет alpaca-cleaned (на котором училась альпака - языковая модель родом из стенфорда) на русский язык, используя взломаный яндекс переводчик, и наконец "скормлю" его языковой модели, что бы она наконец смогла понимать русский язык.
Советую ознакомится с кратким теоретическим описанием происходящего (хотя вроде как такие просьбы не работют()