Им Cohere'нтно. Новая mini-LM для кодинга от Cohere. Мне нравится, что Cohere продолжает свой путь в LMки, помимо эмбеддеров / rag /поиска. И вот их очередное детище для кодинга, в лице небольшой модельки. Метрики конечно похуже Qwen 3.6 plus, но лучше 3.5 🚬 Однако и Qwenы на 5 ярдов жирнее. Но сам вектор интересный развития. И кстати, если посмотреть конфиг в карточке модели, то и класс свой, а не DeepSeek или Qwen, как у некоторых бывает 🤣. Что по архитектуре? 1. MoE 30b и 3 ярда активных параметров на инференсе. 2. Про внимание. Абсолютное внимание каждый четвёртый слой, причём без позицонных эмбов, остальные слои RoPe + sliding window. Везде GQA. 3. Первый слой - префикс блок трансформера dense (без MoE и даже внимания). Думаю, нужен для более глубокого отображения перед MoE, те для усиления выразительности. 4. 128 экспертов и топ8 из них активируюся на инференсе, для выбора используют скоры (не веса) с сигмоиды, а не пробиты с softmax (веса). 5. Двух стадийный sft на разной доле кода и тулколинга. Сначала 70% кода в тч с тулколлом на 30b токен шагов, а потом 61% кода на 4.5B токен шагов. Причём второй этап на отобранных данных с агентных траекторий. 6. RLVR на мульти среде: терминал и различные swe окружения. Ещё добавили асинхронную стадию RL для длинных сессий на много шагов.😜 Итого, хорошее движение вперед у ребят. Интересный дизайн обучения и специализация на кодинге и агентах. 🪨