Павел Иванов | Аудио статьи

ох, какая же это морока, но жутко интересная - вайбкодить свою нейросеть))) программисты 5-10 лет назад, конечно, многое бы отдали за сегодняшние возможности, это огромный прогресс. просто меня поражает, что до сих пор нет самых базовых инструментов. Есть видео. Можно расшифровать текст из видео. НО если в видео говорит несколько человек (например, вставки с Путиным, разные гости, репортажная съёмка) - этого не будет видно. Этим занимаются отдельные инструменты. Чтобы помимо звука расшифровывалось изображение на экране, и все это объединялось по времени - тоже задача особая. Иными словами, берем видео какого-то Шария, делаем расшифровку, а нейросеть думает, что вся речь - это мысли Шария, хотя там на самом деле и цитаты Зеленского, и Путина, и других блогеров. Да так любая нейросеть ошизеет))) Я уже добился качественного результата, не без проблем, но речь о другом: КУЧА блогеров, журналистов, СМИ, аналитических центров уже обучают нейросети на основе информации из Сети. Но даже первичная обработка этой информации - очевидно - никого не волновала. Это как готовить пюре из нечищенной картошки прямо с землёй! Это как ехать на авто с пробитыми колёсами! А потом этим нейронкам будут верить, ага... Пример очередного запроса, которых я сделал уже несколько сотен 😅 запомни, что должно получиться по итогу анализа этого видео фрагмента. в самом начале 00.00- 2 лица (ведущий + репортер), на 00.08 сек мем с новым лицом, дальше - только ведущий (1лицо), на 7:50 появляется репортёр 2 (новое, третье лицо+лицо ведущего остаётся на своём месте), до 10 минуты вед + репортёр 2 (дальше 10 минуты не анализируем. Я вижу, что ты нарезаешь кадры не так, как мы изначально работали. Нужно вернуться к той же логике, что уже заложена в пайплайне, использовать его наработки: нарезали тестовые кадры (3 штуки), оценили есть ли в этих 3 кадрах текст, если нет - значит проверка текста не потребуется, - если есть - потребуется. Провели расшифровку звука. Если говорят разные голоса - потребуется распознавание лиц, если один голос на все видео - не потребуется. Если не нужно распознавать ни лица, ни текст - кадры больше не нарезаем. Если нужно распознавать текст - распознаём кадры, удаляем дубли текста. Если нужно распознавать лица - распознаём те кадры, где появляется новый голос (можно не сам кадр появления, а например следующий за ним. Уже потом всю эту информацию добавляем в общий лог - время нового фрагмента, что на изображении, какие лица, что сказано. Вот эту же логику используем и тут. Дай свой комментарий, сохрани в контекст, составь скрипт для теста