DeepSeek нынче — один из светочей открытого инжиниринга. Прогресс в эффективности использования KV-кешей от версии к версии сумасшедший. А ещё свежий DeepSeek крайне интересен тем, что это, кажется, единственная из топовых больших открытых моделей, отошедших от повсеместного decoder-only (да, была ещё encoder-decoder T5Gemma; поправьте, если я кого важного забыл). Здесь это вариация decoder-decoder (помните YOCO?). Короче, это всё очень прикольно! DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression ~500 authors Paper: https://arxiv.org/abs/2609.19969 Review: https://arxiviq.substack.com/p/deepseek-v41-flash-pushing-the-limits Code: N/A Model: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash ЧТО сделали: Представили DeepSeek-V4.1-Flash — мультимодальную MoE-модель на 552B параметров в основном стволе (плюс 196B в таблицах памяти Engram) для контекста в 1M токенов. Инференс удешевили тремя способами: каузальная схема энкодер-декодер (CED) активирует 8B параметров на префилле и 16B при декодировании, механизм внимания CSA2 переиспользует FP4-кэш между слоями, а ограниченный пересчёт скользящего окна (SWA Bounded Replay) избавляет от записи локального кэша на диск. ЧТО получили: Глобальный KV-кэш в HBM ужали до 890 байт на токен (против 3,514 байт у DeepSeek-V4-Flash), а долговременный кэш на SSD сократили примерно до 1/8 от объёма DeepSeek-V4-Flash. На DeepSWE v1.1 модель решает 74.2% задач (против 54.4% у DeepSeek-V4-Flash и 74.0% у Opus-5), а на Terminal-Bench 2.1 набирает 90.6% Pass@1 (против 82.7% у DeepSeek-V4-Flash и 89.1% у Opus-5). ПОЧЕМУ это важно: Обслуживание агентских сессий в миллион токенов теперь ограничивается вычислениями, а не объёмом HBM или SSD под кэш. При этом в статье нет покомпонентных абляций и кривых поиска на 1M токенов, а на сложных научных задачах вроде Terminal-Bench 4.0 модель уступает крупным закрытым системам (31.2% против 51.8% у Opus-5). Изучать архитектуру тут: https://t.me/gonzo_ML_podcasts/4840