Новый инструмент FreeToken позволяет локально запускать модели до 753B — но есть нюанс. FreeToken распределяет вычисления между GPU, CPU и оперативной памятью, позволяя локально запускать большие MoE-модели: • Qwen3.6 35B — 39 токенов/с на RTX 4060; • DeepSeek V4 Flash 284B — до 25 токенов/с на RTX 5090; • GLM-5.2 753B — 15 токенов/с на RTX PRO 6000. Но есть нюанс: одной видеокарты недостаточно. Для DeepSeek требуется около 192 ГБ оперативной памяти, а для GLM — 512 ГБ. Заявленная скорость относится непосредственно к генерации токенов и пока этого не достаточно для реально быстрой работы с топовыми моделями, тем не менее это интересный шаг вперёд для локального AI. FreeToken на GitHub #полезныеинструменты