AI Product | Igor Akimov

@ai_product · ai · Russian · active

Subscribers 8.3K tracking since 26 Oct
Reach per post (ERR) 35.0%2.9K avg views
Posting 1.1/day last 17 hours ago
Reactions per 1K views 6.7 🔥 👍 ❤

Посмотрел, что ещё там нового у Artificial Analysis. Выкатили Speech to Speech Index – первый сводный бенчмарк для нативных голосовых моделей Не STT и не TTS по отдельности, а сквозное «голос в голос». Индекс собран из трёх датасетов с равными весами, модель попадает в рейтинг только если есть валидные результаты по всем трём: – Big Bench Audio – рассуждения на слух (1000 вопросов: логические ошибки, навигация, счёт объектов, правда-ложь) – Full Duplex Bench – динамика диалога: паузы, перехват хода, перебивания, угу-ага на фоне. – 𝜏-Voice – агентные задачи: обслуживание клиента в сценариях авиалиний, ритейла и телекома Кто наверху по качеству – OpenAI GPT-Realtime-2 (High) – 77.2% – xAI Grok Voice Think Fast 1.0 – 75.7% – GPT-Realtime-1.5 – 72.0% – Google Gemini 3.1 Flash Live Preview (High) – 69.5% Где реально больно: 𝜏-Voice (агентные сценарии) – самое слабое место с большим отрывом. Grok впереди с 52.1%, GPT-Realtime-2 (High) – 39.8%, и вообще все модели ниже 53%. То есть «поговорить» научились хорошо, а довести клиентскую задачу до конца голосом – пока нет. Reasoning при этом плотно упёрся в потолок: Grok – 97.1%. Скорость (TTFA, время до первого аудио) – Deepslate Opal – 0.44s (но индекс всего 62.1%) – GPT-Realtime-1.5 – 0.82s – Grok Voice Think Fast 1.0 – 1.25s – GPT-Realtime-2 (High) – 2.33s – Gemini 3.1 Flash Live (High) – 2.98s Цена (за час входного аудио) – Gemini 3.1 Flash Live (Minimal) – $1.50 – Gemini 3.1 Flash Live (High) – $1.75 – Grok Voice Think Fast 1.0 – $3.00 – GPT-Realtime-2 (High) – $4.14 Хорошо, что наконец появился сводный индекс именно для нативного S2S, а не зоопарк из отдельных метрик распознавания и синтеза. Но пока от выбора качество–скорость–цена никуда не деться. Топовый GPT-Realtime-2 одновременно самый умный, один из самых медленных (2.33s) и самый дорогой ($4.14). А Gemini Flash в Minimal стоит копейки и стартует быстро, но проседает по качеству до 56.6%. Полная разбивка: artificialanalysis.ai/speech-to-speech

Views over time

01K2K24 Jun 18:0926 Oct 23:422K24 Jun 18:09: 0 views26 Oct 23:42: 2,040 views
Snapshots we took after posting.
WhenViews
24 Jun 2026, 18:090
26 Oct 2026, 23:422K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.