Дроны научили играть в салки с помощью обучения с подкреплением⚙️ Исследователи Национальной лаборатории Сандии (Sandia National Laboratories) использовали обучение с подкреплением, чтобы научить автономные дроны совместно уклоняться от преследования. Эксперимент должен помочь в разработке алгоритмов для автономных систем, способных действовать в быстро меняющейся обстановке без постоянного управления человеком. В экспериментальной версии игры два дрона-преследователя охраняли безопасную зону, а два дрона-уклониста должны были добраться до нее. Уклоняющиеся аппараты обучались взаимодействовать друг с другом. Их задача заключалась в том, чтобы заставить преследователей столкнуться и воспользоваться возникшим окном для достижения базы. Для обучения использовали метод обучения с подкреплением. Алгоритм получал виртуальные вознаграждения за желательные действия и таким образом постепенно вырабатывает нужную стратегию. Такой подход позволил не прописывать заранее все возможные варианты поведения дрона, а обучить систему самостоятельно находить эффективные решения. При этом преследователей исследователи не обучали с помощью нейросетевого алгоритма. Они использовали более простой метод — пропорциональную навигацию, которая рассчитывает траекторию перехвата цели. Сначала алгоритм для дронов-уклонистов обучали в компьютерной симуляции. Затем его перенесли на реальные небольшие квадрокоптеры. Одной из главных проблем стал так называемый разрыв между симуляцией и реальностью, поведение дрона в физическом мире отличается от модели из-за факторов, которые трудно полностью учесть в виртуальной среде. Например, на работу аппаратов влияет постепенный разряд аккумулятора, воздушные потоки от соседних дронов и небольшие задержки при передаче данных. Поэтому исследователям пришлось дополнительно изучать характеристики используемых квадрокоптеров и совершенствовать их компьютерную модель. Для испытаний выбрали аппараты шириной около 9 см и массой меньше шоколадной плитки. Небольшие размеры и низкая стоимость позволяют экспериментаторам регулярно допускать столкновения и быстро ремонтировать поврежденные дроны, не рискуя дорогостоящим оборудованием. Тестирование проводилось в лаборатории Sandia в Центре передового производства и инноваций CAMINO. Положение аппаратов отслеживала инфракрасная система захвата движения, которая с высокой точностью определяет координаты дронов. Подобные эксперименты могут быть полезны для создания автономных систем, которым необходимо самостоятельно преследовать цели, уклоняться от препятствий и координировать действия нескольких аппаратов. Среди возможных направлений применения лаборатория называет, в частности, защиту критически важных объектов от враждебных дронов. Исследование является частью проекта AutonomyNM, посвященного развитию автономных систем с использованием машинного обучения и искусственного интеллекта. Результаты работы также были представлены в научной статье для Международной конференции IEEE по робототехнике и автоматизации 2026 года.