НИИ ИИ

@ai_rostov · ai · Russian · active

Subscribers 4.4K Subscribers, last 30 days: 4.3K → 4.4K +20 24h
Reach per post (ERR) 23.0%1K avg views
Posting 10.6/day last 9 hours ago
Reactions per 1K views 3.1 ⭐
repost from Сергей Пименов

Qwen3.8 на моём Mac mini получила простейший вопрос, 196 784 входных токена и 586 инструментов. После этого она десять минут писала «Думаю» и так и не перешла к ответу. Я продолжаю описывать свой рабочий процесс и на этот раз рассказываю об эксперименте, в котором ошибся в главном архитектурном решении. С локальными моделями я новичок. Поэтому увидел Qwen3.8 27B с большим контекстом, установил её на Mac mini M4 Pro с 48 ГБ памяти и решил подключить почти к полноценной среде Codex: с историей, системными инструкциями и огромным каталогом инструментов. Короткий проверочный запрос работал, поэтому сначала казалось, что установка прошла успешно. Реальная задача показала другую картину. Один запуск успел обработать 55 296 токенов примерно за девять с половиной минут, после чего Ollama отменил запрос. Увеличение времени ожидания просто заставило нас дольше ждать тот же результат. Журналы показали, что локальная модель получила не задачу, а почти весь рабочий стол Codex. Она тратила всё время на обработку служебного пакета и не успевала начать ответ. Тогда мы выделили Qwen отдельную узкую роль. Подняли изолированный MLX-процесс, убрали инструменты и историю, ограничили размер входа и стали передавать только компактный пакет проверенных фактов. После этого модель начала работать. А первым содержательным заданием для нового контура стало написание технического черновика статьи о том, как мы его строили и почему первая схема провалилась. В статье показываю реальные цифры из журналов, устройство Ollama- и MLX-контуров, безопасную схему с локальным сервером и SSH-туннелем, ограничения по памяти и главный практический вывод: локальной модели не обязательно отдавать весь Codex, чтобы она приносила пользу. Ошибки у меня ещё наверняка будут. Но теперь каждая такая ошибка превращается в измерение, рабочее ограничение и следующий шаг. 👉 Qwen3.8 на Mac mini M4 Pro: сначала всё сломалось, потом он написал эту статью

Views over time

020040019 Aug 04:3112 Nov 01:1043319 Aug 04:31: 0 views12 Nov 01:10: 433 views
Snapshots we took after posting.
WhenViews
19 Aug 2026, 04:310
12 Nov 2026, 01:10433

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.