Возглавил направление AI Core & Bitrix Robotics в Битрикс24 Вартанян уже рассказал, что Битрикс24 открыл лабораторию робототехники Тот Валера, который приезжал ковырять нутро и мозги пациента, это я Робота зовут Марта, это гуманоид AgiBot X2 На видео Марта сама встаеет с пола, держит толчок, здоровается по имени, показывает сердечко и прощается Пульта нет, управление передано агентному харнесу, ничего не записано заранее Ей говорят голосом, она решает, что сделать, и делает Мозги Марты подключены к омни-модели, она даёт низкую задержку и живой голос, с Мартой приятно разговаривать Сверху агентный харнес, тот же, на котором мы последние месяцы собирали Коворк и BitrixGPT, промпты, скиллы, память о людях, инструменты и интеграция в Битрикс24 Только вместо bash и git у неё шаг, разворот, жест, камера Через харнес получилось не просто дёргать робота командами Марта понимает, кто перед ней, о чём её попросили и получилось ли сделать Производитель отдаёт железо, ходьбу, баланс и набор жестов Остальное делаешь сам, вот примерный набор что надо сделать, собрать, протестировать, и часть запихнуть на пк внутрь робота VAD понимает, когда человек начал и закончил говорить STT переводит речь в текст TTS отвечает голосом AEC подавление эха, чтобы Марта не слышала и не перебивала саму себя Hardware Bridge мост к железу робота: камеры, лидар, микрофон, динамик, жесты, ходьба Face Recognition узнаёт людей по лицу и помнит, кто есть кто Object Detection видит предметы на всех камерах и знает, на каком они расстоянии Mapping строит карту помещения по лидару и камере глубины Localization понимает, где она стоит на этой карте Orientation знает, куда повёрнута и куда смотрит Lidar Obstacle Avoidance видит препятствия лидаром и обходит их То есть всё, что превращает ходячее железо в робота, с которым можно работать Робот отдаёт данные с датчиков и выполняет команды, а мозги пока живут на отдельном компьютере Следующий шаг: перенести их на борт, на Jetson Orin внутри робота Самое сложное сейчас Научить Марту понимать, где она находится Камеры, стерео, глубина, карта помещения есть, а быстрой и честной локализации из них пока не собрали Бывает, она уверена, что стоит у окна, а стоит у стола На видео она уже находит меня по детекциии лиц меня и идёт к столу, но пока не с первого раза Когда начнёт уверенно знать, где стоит, "подойди ко мне к столу" станет рабочим сценарием Мне это напоминает GPT в 2023, готовых бизнес-кейсов ещё нет, интерес уже есть Будем строить место, где роботы и люди работают вместе, внутри экосферы Битрикс24 Дальше буду рассказывать, как учим Марту ориентироваться и какие грабли собрали по пути Stay tuned!