Куда катится архитектура LLM в 2026 Себастьян Рашка разобрал свежие open-weight модели - Gemma 4, Laguna XS.2, ZAYA1-8B и DeepSeek V4. Общий тренд один: теперь главная борьба идёт не только за качество, а за цену длинного контекста. У reasoning-моделей и агентов узким местом стали KV-кэш, трафик памяти и FLOPs attention. Поэтому архитектуры всё активнее режут стоимость инференса. Gemma 4 шарит KV между слоями. Laguna XS.2 распределяет attention-бюджет по слоям. ZAYA1-8B считает внимание в сжатом латентном пространстве. DeepSeek V4 сжимает KV вдоль последовательности и усложняет residual stream. decoder-only трансформер жив, но всё вокруг attention быстро мутирует. Качество всё ещё тянут данные и training recipe, а архитектура всё чаще нужна, чтобы длинный контекст не сжигал железо. https://magazine.sebastianraschka.com/p/recent-developments-in-llm-architectures