Хабр ✔

@habr_com · Russian · active

Subscribers 135K Subscribers, last 30 days: 135K → 135K +0 24h
Reach per post (ERR) 12.5%16.8K avg views
Posting 8.1/day last 7 hours ago
Reactions per 1K views 5.0 ❤ 👍 🔥

Впихнуть невпихуемое У Qwen3.8-Flash-Next целый штат из 24 576 экспертов. На каждый новый токен работать выходят примерно десять. Остальные могут отдыхать, но места в памяти требуют все до единого. А теперь попробуйте разместить эту компанию на домашнем ПК, где у видеокарты всего 12 ГБ памяти. И ведь получается! В одном из приведённых замеров Qwen на RTX 5070 с 64 ГБ оперативки выдала 94 токена в секунду. Правда, модель пришлось изрядно ужать. А проекты Strata и Maya позволяют запускать на потребительском железе даже ИИ-гигантов с сотнями миллиардов параметров. Но впихнуть модель — ещё не значит заставить её нормально работать. Можно сэкономить память и потерять в качестве. Можно запустить гиганта и получить черепашью скорость. Самое сложное — найти баланс между размером модели, её возможностями и железом, которое должно всё это переварить.

Views over time

010K20K3 Nov 22:0111 Nov 14:3620.2K3 Nov 22:01: 0 views11 Nov 14:36: 20,200 views
Snapshots we took after posting.
WhenViews
3 Nov 2026, 22:010
11 Nov 2026, 14:3620.2K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.