Триллион параметров на обычной RTX 3060: эксперимент с Kimi K2.5 Китаец запустил Kimi K2.5 — 1 триллион параметров — на своей RTX 3060, используя 768 ГБ памяти Intel Optane. Секрет в том, что Kimi K2.5 — это Mixture-of-Experts модель, которая активирует только 32B параметров на токен. Магия: 12 ГБ VRAM 3060 хватает для критически важных частей (роутинг, attention, dense слои), а гигантские веса экспертов лежат в дешёвой Optane-памяти, подключённой как оперативка. llama.cpp обеспечивает гибридный inference через CPU/GPU. Результат — 4 токена в секунду у себя дома на "недорогом" железе, что очень медленно, но впечатляюще, учитывая, что обычно эти модели работают на железе минимум за 250 тысяч долларов. Собираем компы для нейронок 😁 Подробнее #апдейтымоделей