Google с коллегами создали новый тип ИИ-агента для потокового видео Эта работа интересна тем, что раньше ИИ учили точнее выполнять то, что просят, а теперь учат замечать то, что не просили и вмешиваться в нужный момент. Команда исследователей из Google, Stanford и других университетов предложила новую модель поведения ИИ-агентов - StreamVibe. Здесь ИИ-агент не ждёт команды от пользователя, он непрерывно наблюдает за тем, что происходит в кадре, понимает цели пользователя, в том числе неявные, отслеживает, как они меняются по ходу задачи, и сам решает, когда и как помочь. Авторы работы выделяют 3 сценария: 1. Когда есть явная цель, например, человек ставит кастрюлю с водой и говорит: «Предупреди, когда вода закипит». Агент следит за видео и сообщает тогда, когда вода начинает кипеть. 2. Неявная цель, например, человек просит: «Помоги мне сделать мини-рулеты с джемом», и не уточняет, что именно подсказывать. Агент сам определяет нужные моменты: обрезать корочки перед тем, как наносить джем, и тд. 3. Когда цель меняется на ходу. Сначала человек просит подводить итог после каждого этапа, и агент это делает, а потом просит говорить только об ошибках. Агент перестраивается и подсказывает уже только порядок действий, когда видит, что человек собирается ошибиться. Для этого авторы собрали бенчмарк из 4100 примеров и 183 часов видео, обучили модель StreamVibe-VL в два этапа и добавили харнесс, который удерживает в памяти прогресс задачи и прошлые ответы.