kimi-k3-in-c Это портативный движок для выполнения вывода модели Kimi K3 с 2,78 триллионами параметров на одном процессоре с использованием 8,24 ГБ оперативной памяти. Программа написана на языке C99 и не требует использования BLAS, фреймворков или GPU, обеспечивая независимость от внешних библиотек и оборудования. Для работы требуется быстрый NVMe SSD с минимум 1,56 ТБ свободного места для хранения контрольной точки модели. Скорость генерации составляет примерно 32,7 секунды на токен при использовании 8 ГБ оперативной памяти. Lang: C https://github.com/FareedKhan-dev/kimi-k3-in-c ================ 👁 News | 👁 Soft | 👁 Gear | 👁 Links