Технозаметки Малышева

@tsingular · ai · Russian · active

Subscribers 13.3K Subscribers, last 30 days: 13.3K → 13.3K +0 24h
Reach per post (ERR) 20.7%2.7K avg views
Posting 10.6/day last 13 minutes ago
Reactions per 1K views 10.8 🔥 😁 ✍
repost from Анализ данных (Data analysis)

Kimi K2.6 теперь можно запускать почти на чём угодно Модель на 1 триллион параметров ужали до 340 ГБ через Dynamic GGUF. Ключевые слои оставили в более высокой точности, остальное оптимизировали. В итоге получился компромисс, который реально работает. Больше не нужен только кластер на сотни GPU. Сейчас это выглядит так. Запуск на CPU, GPU и даже SSD-сетапах. Скорость больше 40 токенов в секунду на конфигурациях с ~350 ГБ RAM или VRAM. Полная точность доступна при 610 ГБ. По сути, это один из первых кейсов, когда модель такого масштаба становится доступной вне датацентров. Если тренд продолжится, граница между локальными и облачными моделями начнёт быстро стираться. Гайд: https://unsloth.ai/docs/models/kimi-k2.6 GGUF: https://huggingface.co/unsloth/Kimi-K2.6-GGUF

Views over time

01K2K3K22 Apr 12:4611 Nov 20:492.3K22 Apr 12:46: 0 views11 Nov 20:49: 2,330 views
Snapshots we took after posting.
WhenViews
22 Apr 2026, 12:460
11 Nov 2026, 20:492.3K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.