Ух ты, Meta (запрещённая в России) наконец подняла веки и разродилась супер распознавалкой речи на 1600 языках! Omnilingual ASR. - Базовая модель: wav2vec 2.0 (на первой версии мы делали распознавание кипрского, на неделе выложим уже), масштабированная до 7B параметров - Два варианта декодера: традиционный CTC и трансформер. - LLM-подход даёт in-context learning – можешь дать несколько примеров аудио-текст пар и получить рабочее качество транскрипции без тренировки! Вау! Результаты: - Character Error Rate (CER) ниже 10% для 78% языков - State-of-the-art качество на всех 1,600+ языках - Можно добавить новый язык на лету без переобучения Выложили: - Весь набор моделей от лёгких 300M (для мобильных устройств) до мощных 7B - wav2vec 2.0 foundation model для других задач со звуком, типа распознавания эмоций или разметки. - Omnilingual ASR Corpus – крупнейший датасет спонтанной речи на 350 низкоресурсных языках - Всё под Apache 2.0 и CC-BY лицензиями, можно применять для чего угодно. Работали с локальными организациями по всему миру, нанимали носителей языков из удалённых регионов. Партнёрились с Mozilla Common Voice, Lanfrica/NaijaVoices и другими. Очень интересно потестить на русском. Но в целом очень-очень масштабный и полезный проект для всех стран. GitHub: https://github.com/facebookresearch/omnilingual-asr Статья: https://ai.meta.com/blog/omnilingual-asr-advancing-automatic-speech-recognition/ Позалипать в демку, какие языки подключили: https://aidemos.atmeta.com/omnilingualasr/language-globe Попробовать на своих коротких файлах: https://huggingface.co/spaces/facebook/omniasr-transcriptions