Технозаметки Малышева

Сбер выкатил в опенсорс GigaAM Multilingual и GigaChat Audio Статьи по архитектуре моделей уже приняли на Interspeech 2026. В релизах исправили две проблемы открытых Speech AI систем — слабую поддержку языков СНГ и деградацию качества на длинных аудио. GigaAM Multilingual — мультиязычный стек для распознавания русского, казахского, киргизского, узбекского и английского. Тут две части: аудио-энкодер и CTC ASR. Энкодер обучали на 2 млн часов речи на 70+ языках, и он быстро адаптируется к новым доменам. На башкирском и грузинском его дообучили с одного датасета Common Voice до ошибки WER ~4% (у Whisper Encoder при тех же вводных — 11%+). А модель распознавания CTC ASR в версии на 240M параметров обходит Whisper Large v3 и Omnilingual 1B, хотя весит кратно меньше. GigaChat Audio — это audio-native LLM на базе GigaAM Multilingual и GigaChat3.1-10B-A1.8B. Модель тянет до 2 часов контекста и умеет в temporal grounding — локализацию событий во времени с таймстемпами и суммаризацией интервалов. На длинных записях от 20 до 60 минут точность локализации IoU составляет 48.3, в то время как у Voxtral, Phi-4 и Qwen3-Omni результат близок к нулю. Вдобавок опубликовали датасет TimeGround-1M для обучения LLM привязке событий ко времени, а на RuBQ-Audio модель выбивает 60.0 (против 43.7 у Qwen3-Omni). Полноразмерную GigaChat-Max-Audio уже добавили в ИИ-помощник ГигаЧат giga.chat, а распознавание голосовых сообщений работает в @smartspeech_sber_bot. Веса открытых моделей, датасет и статьи на arXiv уже в сети. GigaAM Multilingual GigaChat Audio @ai_newz