DeepSeek v4, когда ценность в инженерии. Команда DeepSeek выпустили свою четвертую серию моделей. При этом, 📦 дождался техрепорта, чтобы не смотреть превью. Модель вышла снова, как одна из лучших открытых, но все ещё без мультимодальности и ломается на сложных multi-step задачах агентов, в которых закрытые не пассуют. Но для 📦 все ещё ценны открытость команды DeepSeek в их архитектурных и инженерных хаках. И в этом релизе завезли интересностей: 1. Сжатие KV за счёт CSA и HCA. Первое это топК сжатие с весами в окне токенов. Второе жоское сжатие в плотный вектор токенов для лонг окна. 2. Улучшение skip connection с mHC. Об этом как нибудь расскажу, тк чую это будет и далее наследоваться и улучшаться. 3. Новая xml tool calling схема с спец токеном <|DSML|>. Плюс рассуждения хранятся во всех раундах для тулкола. 4. Рассуждения с декомпозицией на 3 режима: ответь сразу 🐌, подумой 🤨, максимально подумой. 🧠 5. Интересный SFT или, как они это называют - post training. Обучают 10+ моделей доменных экспертов. Сначала SFT на домен, далее GRPO, но в GRPO модель награды не отдельная, а чисто ещё одна голова над генеративной тушкой эксперта. Т.е. модель с одной башки генерит, а с другой оценивает эту генерацию. Назвали это, как у твоего бати в четырке - цепь GRM. Далее после того как обучили 10+ экспертов, они их не мерджат, а берут их предсказания на отдельном сете и дистиллируют в единую модель ученика. Причём в батче ток дистиллируется один эксперт. Назвали такое OPD. Для меня было интересно только это. В остальном, продолжаем наблюдение. 😏