gonzo-обзоры ML статей

@gonzo_ml · ai · Russian · active

Subscribers 24.7K Subscribers, last 30 days: 24.7K → 24.7K +0 24h
Reach per post (ERR) 12.1%3K avg views
Posting 4.0/day last 1 day ago
Reactions per 1K views 2.9 👍 ❤ 😁

А вот очередная прикольная работа про хитрое управление контекстом через харнесс, позволяющее модели не работать с длинным контекстом. В недавней Context Language Models сама модель переписывала свой контекст как файл на диске. Здесь таки харнесс за это отвечает. Результат прикольный: качество обычно не проседает (и иногда даже растёт). Есть правда проблема со сбросом кешей и вероятным отсутствием денежной экономии в итоге. Кодовых артефактов авторы статьи не выложили, я попросил Клода собрать скилл, воспроизводящий описанный в статье подход, выложил сюда: https://github.com/che-shr-cat/short-context-agent Он учит агента двум вещам из статьи: большие файлы не грузить в контекст, а искать grep'ом и читать ограниченными окнами, и по ходу длинной задачи вести тот самый handoff brief из шести частей (цель, проверенные факты отдельно от гипотез, внесённые изменения, прогнанные проверки, тупики, план дальнейших шагов). Скилл подхватывается сам на длинных многошаговых задачах и больших входах, а сброс контекста остаётся за Claude Code — автокомпакция по его порогу, /compact или /clear руками; в любом случае хук плагина подкладывает brief обратно, и агент продолжает с того же места, а не раскапывает всё заново. Получается EoCC; SAC (сброс после каждого действия) в Claude Code не сделать, он есть только в референсном harness в репе — вместе с EoCC и baseline без компакции. Внимательно пока не тестил, возможны баги. PR'ы принимаются :) You don't need long context Peter Belcak, Saurav Muralidharan, Jindong Jiang, Yonggan Fu, Wonmin Byeon, Hanrong Ye, Ryan Angilly, Ali Taghibakhshi, Shih-Yang Liu, Siru Ouyang, Greg Heinrich, Pavlo Molchanov Paper: https://arxiv.org/abs/2611.05306 Review: https://arxiviq.substack.com/p/you-dont-need-long-context Code: N/A (unofficial re-implementation) Главное: Языковые модели справляются с долгими агентными задачами и большими документами в коротком окне контекста без потери точности. Для этого обвязка агента должна периодически переписывать историю в рабочую сводку для следующих шагов, а большие файлы читать через поиск по диску. ЧТО сделали: Предложили два режима работы обвязки агента: End-of-Conversation Compaction (EoCC, сжатие при достижении порога токенов) и Single-Action Compaction (SAC, сжатие после каждого действия). В обоих режимах диалог сбрасывается, в новую сессию переносится только структурированное текстовое состояние, а длинные файлы читаются через Bash-утилиты. ЧТО получили: Короткое окно контекста сохраняет или повышает точность на бенчмарках с длинным горизонтом и большими документами, а стоимость декодирования на GPU при переходе от 256K к 16K токенов падает до 7 раз. Даже при сбросе контекста после каждого действия Claude Opus 4.5 удерживает 70.2% решённых задач на SWE-bench Verified. ПОЧЕМУ это важно: Обучение и запуск моделей с окном 16K–50K вместо миллиона токенов кратно ускоряют декодирование и снижают расход памяти. Однако слабые открытые модели могут обваливаться, когда их многословные ответы исчерпывают жёсткий бюджет до завершения задачи. Сжимать контекст здесь: https://t.me/gonzo_ML_podcasts/4846

Views over time

01K2K3K7 Nov 16:2112 Nov 20:412.4K7 Nov 16:21: 0 views12 Nov 14:39: 2,370 views12 Nov 20:41: 2,390 views
Snapshots we took after posting.
WhenViews
7 Nov 2026, 16:210
12 Nov 2026, 14:392.4K
12 Nov 2026, 20:412.4K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.