Промт-инжиниринг выходит в физический мир Опять про роботов. Несколько дней назад Generalist AI представила GEN-1.5 — новую модель для управления роботами. Обычно, если мы хотим научить робота новому действию, нужно собрать кучу данных, обучить модель и проверить ее на реальном железе. GEN-1.5 обучали больше восьми месяцев, пока исследователи не попробовали вообще не обновлять веса. И оказалось, что модель способна понять новую задачу из контекста. Теперь роботу можно показать 3–12 секунд физического действия, после чего GEN-1.5 попытается выполнить его сама. Generalist AI называет это физическим промтингом. Примерно как с языковой моделью, только здесь в промт передается не текст, а сенсорные данные и само действие. Демонстрация помещается в 30-секундный контекст. Модель смотрит на пример и текущее состояние среды и пытается понять, что нужно сделать. На десяти коротких задачах такой способ дал около 59% успеха. Конечно, для промышленного робота это пока так себе результат. Но пять минут данных и десять шагов дообучения поднимают результат примерно до 83%. Один шаг на одной минуте данных дал 66,5%. Я бы смотрел не столько на проценты, сколько на сам процесс обучения новому навыку. Раньше под новую задачу могли потребоваться часы данных и полноценное обучение. Теперь сначала можно показать несколько секунд примера. Если этого недостаточно — собрать несколько минут данных и дообучить модель. Самое интересное, что эту способность специально не проектировали. Прям как с большими языковыми моделями: на масштабе оказалось, что модель умеет распознавать новую задачу внутри контекста без изменения весов. Только теперь вместо текста — физический опыт. Можно дать модели две отдельные демонстрации: сначала открыть кошелек, а потом достать деньги. Переход между ними никто не показывает — модель сама соединяет действия. Еще интереснее, что действие можно показать в симуляторе как физический промт, после чего реальный робот попытается повторить его в физическом мире. Проблему Sim2Real-перехода это не отменяет, но симулятор становится еще и интерфейсом постановки задачи. В некоторых экспериментах человек выполнял действие руками перед камерами робота, а модель переносила его на собственное тело. Есть и примеры не просто копирования движения. После пяти минут дообучения на задаче с щеткой модель смогла использовать вместо нее банан, а с совком придумала другую стратегию: подцепила предмет и высыпала его в миску. Generalist AI проверила почти 1,9 млн сцен и не нашла среди них близкого примера такого использования совка. И это напрямую связано с моим прошлым постом про то, как ИИ-агенты начинают самостоятельно обучать роботов. Я писал, что физический ИИ, скорее всего, будет состоять не из одной огромной модели, а из агента, который понимает цель, планирует действия, использует память и инструменты и управляет моделями для физического выполнения. Теперь такой агент потенциально может создавать физические промты: найти похожий опыт в памяти, получить демонстрацию от человека или создать ее в симуляторе и сразу проверить результат на реальном роботе. Если получилось плохо — изменить пример или дособрать данные. Если навык используется постоянно — сможет дообучить отдельную модель. И тогда тот цикл становится еще короче. Получается, что физический опыт постепенно становится новым языком программирования роботов. И, возможно, появится профессия наподобие промт-инженера, но для роботов. Пока GEN-1.5 закрыта, однако, думаю, это вопрос времени. #новости