Еще бенчмарк по голосовым ассистентам, но уже со стороны качества работы LLM AssemblyAI выкатили Voice Standard Bench – 50+ LLM на реальных голосовых задачах В общем, после транскрибации почти всегда идёт LLM-вызов – почистить диктовку, сделать саммари звонка, вытащить имена и номера заказов. На объёмах этот шаг съедает заметную часть бюджета, потому что туда по привычке ставят фронтир-модель. В итоге что в бенче: – 4 задачи: саммаризация, извлечение данных, коррекция текста, чистка диктовки – 4 длины: 30 сек (голосовое), 2 мин, 15 мин (звонок в поддержку), 60 мин (митинг) – на входе реальный выход STT – с «эээ», оговорками и ошибками распознавания – качество, скорость и цена за час аудио рядом – судьи – Claude Opus 5.5 и GPT-5.6 Sol, диктовка проверяется механически по эталону Лучшие: – Overall: GPT-6 Astra – 92, GPT-6 Luna – 90 (самая дешёвая в пределах 8 пунктов от топа), GPT-4.1 – 84 (самая быстрая) – Саммари: Opus 5.5 – 98, GLM-5.3 Flash – 91 за копейки – Диктовка: Gemini 4 Argon – 100, GLM-5.3 Flash – 96 – лидер по качеству стоит в 15–77 раз дороже модели, отстающей всего на 2 пункта. Только на часовых записях разрыв сжимается до ~4× – GPT-6 Luna – около полцента за час аудио, но платишь задержкой – gemma-4-31b на 30 секундах отвечает быстрее секунды с качеством 93 (у Luna – 1.7 сек) – Qwen3.5 4B Fast – самая быстрая, но на 15-минутных звонках качество падает Прикол, что опенсорс почти не выигрывает по цене – Luna и так стоит копейки, а экономия на открытых моделях – доли цента ценой 10+ пунктов качества на всём, что длиннее 2 минут. Зато по скорости на коротких входах открытые модели на их железе рвут всех: те же модели у других хостеров отвечают 10–20 сек. Бенчмарк открыт на GitHub, и его можно прогнать на своих транскриптах и записях. Выбрать уже под себя. Короче, фронтир в голосовых сценариях нужен в основном на длинных митингах. Для голосовых сообщений, коротких звонков и диктовки хватает маленькой быстрой модели, а сэкономленное лучше потратить на нормальный подбор модели для своих данных. https://www.assemblyai.com/blog/voice-standard-bench