llama-modchip Это инструмент для эффективного запуска крупных языковых моделей, таких как DeepSeek-V4-Flash и 30B MoEs, на системах с ограниченными ресурсами, включая CPU с 64 ГБ RAM без использования GPU. Он поддерживает оптимизации для различных архитектур процессоров, включая AMD Zen 5 и Zen 4, обеспечивая ускорение вычислений за счет использования специфических инструкций и кэширования. Инструмент реализует динамическое распределение нагрузки между CPU и GPU, позволяя эффективно использовать гибридные системы для работы с моделями смешанных экспертов (MoE). Lang: Python https://github.com/synchopate/llama-modchip ================ 👁 News | 👁 Soft | 👁 Gear | 👁 Links