AI Product | Igor Akimov

Наконец-то что-то совершенно новое от Миры Мурати (не зря все-таки 2 миллиарда вложили в них) Выпустили Interaction Models, новый подход к голосу и мультимодальности. Пишут, что сегодня голосовой ассистент – это набор подпорок вокруг пошаговой обработки: VAD ловит конец фразы, отдельный TTS лепит звук, отдельная логика рулит диалогом. Пока ты говоришь, модель глухая. Пока модель отвечает, она слепая. В итоге предлагают архитектуру работы в реальном времени: микрокусочками по 200 мс, где аудио + видео + текст идут параллельными потоками. Модель думает асинхронно по ходу диалога: длинные цепочки рассуждений, инструменты, поиск не мешают основному потому. Плюс фоновая модель докидывает результаты в живой разговор в подходящий момент. В итоге задержка не-thinking модели плюс интеллект thinking модели. Что научились делать – Перебивать пользователя, когда тот говорит чушь (раньше harness в принципе не давал такой возможности) – Говорить одновременно с тобой – синхронный перевод, лайв-комментарий – Реагировать на визуальные триггеры: "скажи, когда я подниму палец", "посчитай мои отжимания" – Держать чувство времени: "напоминай мне дышать каждые 4 секунды" – Вызывать инструменты и искать в вебе параллельно с разговором Модель конечно немаленькая, 276B MoE с 12B активных. На FD-bench v1.5 (качество интеракции) даёт 77.8 против 46–54 у GPT-Realtime и Gemini-Live. Turn-taking latency 400 мс – лучшая в категории. На их новых бенчах для проактивной речи (TimeSpeak, CueSpeak) и визуальных триггеров (RepCount, Charades) конкуренты выдают ноль или единицы процентов. Никто такого пока просто не умеет. Там прикольные на страницы примеры с подсчетом пальцев или перевода в реальном времени счетов из доллара в евро. Под капотом много всего интересного именно для стабильной работы, мультимодальности, оптимизации. Research preview закрытый, доступ начнут выдавать в ближайшие месяцы. Наконец глоток свежего воздуха и конкуренция. И подход реально классный, потому что кажется текущие голосовые подходы и правда уперлись в потолок. Видео: https://youtu.be/A12AVongNN4 Подробности: https://thinkingmachines.ai/blog/interaction-models/