НИИ ИИ

Вышел открытый проект llama-modchip: он запускает DeepSeek-V4-Flash на 284 млрд параметров на обычном компьютере с 64 ГБ оперативной памяти и без видеокарты. Модель ужали с 76,9 до 56,6 ГиБ, и вместе с контекстом на 256 тысяч токенов она целиком помещается в память. Что известно: На 16-ядерном Ryzen 9 9955HX модель читает запрос со скоростью 44 токена в секунду и пишет ответ со скоростью от 9 до 14,7 токена в секунду. Без патчей та же модель на 64 ГБ просто не помещается. В собственном тесте авторов сжатая версия набрала 98,5 балла из 100, вызовы инструментов отработали без ошибок. На Apple M5 Max с 64 ГБ участник сообщества получил 20–24 токена в секунду. Для ноутбуков на 16–32 ГБ там же есть Nemotron 30B, она выдаёт от 25 до 60 токенов в секунду. Проект появился 29 октября, и у него уже больше 750 звёзд на GitHub. Локальные модели однозначно наше будущее. Похвастаюсь: после экспериментов с Grok Bot я вспомнил про Hermes, которого пробовал много месяцев назад, и заново поднял его на Mac Mini вместе с локальной Qwen 3.8. Неожиданно всё очень классно заработало. Теперь у меня есть ещё один агент на личном компьютере, доступный мне через Tailscale. Чем его занять, пока не придумал: агентов у меня теперь больше, чем задач.