В последнее время с командой ✌️ пересекаемся с задачами распознавания речи (транскрибации aka STT), пост-обработки через LLM и синтеза ответа (TTS). Типовой пайплайн, в общем. Причем нередко в наземных условиях (self-hosted / on-prem). Но в распознавании тех же встреч, особенно в случае, если у тебя уже смикшированы каналы и вытащить отдельных спикеров из аудио "детерминировано" нельзя, есть старая-добрая задача диаризации (SD). В свое время в игрушечных задачках навроде хакатонов мы гоняли NeMo от NVIDIA (цитирую). Уже тогда народ баловался Pyannote и еже с ними с неприятной лицензией. На днях попался бэнч от ребят из ру-коммьюнити распознавания, в котором топ-3: - NeMo Nemotron3 - SUPlime Large - DiariZen Large MD v2 Причем 2 последних с кодом MIT, а весами - NonCommecial, а вот Nemotron 3 Diarization - делай что хочешь и лучшие метрики в своем классе. Решил бегло чекнуть Nemotron 3 Diarization в домашних условиях и что имеем: * 20 минут за 1,5 секунды на прогретой модели (т.е. более 700х); * 1 Гб утилизации VRAM; * при протыкивании ручками по сегментам всей встречи - почти идеальный захват; * что забавно, на встрече реально было 4 человека, но спикеров 5 - да потому что реально в коридоре кто-то на фоне проходил с телефоном за кофе и обратно; По уму, конечно, надо бы сгрузить из ВКС сырцы аудио или транскрипт с метками спикеров и сравнить на предмет DER, но это надо брать и делать 🤥 В общем, наземная свободная к коммерции диаризация неделю назад (с релиза), кажется, переживает качественное перерождение 🔥 ЗЫ: глядя на сегменты аудио спикеров (скрин) подумал - а могла бы вообще быть полезна аналитика вида: "На обсуждение ушло 20 минут. Руководитель проекта говорил 65% времени, технический эксперт - 25%, заказчик - 10%. Заказчик обозначил два ограничения, по одному решение не зафиксировано"? ЗЗЫ: офтоп, но в задаче TTS сегодня появился лидерборд с отдельным чекбоксом для русского (блог).