Снова старая добрая нейроэволюция! Один из соавторов, кстати, соавтор той книги. Continual Reinforcement Learning with Neuroevolution Eleni Nisioti, Andrea Cossu, Kathrin Korte, Sebastian Risi Paper: https://arxiv.org/abs/2610.01583 Review: https://arxiviq.substack.com/p/continual-reinforcement-learning Code: https://github.com/eleninisioti/continual_neuroevolution ЧТО сделали: Исследовали нейроэволюцию для непрерывного обучения с подкреплением (continual RL) в меняющихся средах без явных границ между задачами. Авторы сравнили эволюционные стратегии (ES) и генетические алгоритмы (GA) с алгоритмом PPO, тремя его модификациями для непрерывного RL и популяционным RL на бенчмарках от классического управления до задач со зрением. ЧТО получили: ES обеспечили лучший баланс между сохранением старых навыков и освоением новых, превзойдя все RL-бейзлайны в 8 из 18 условий. Градиентные методы не выиграли нигде. GA показали наивысшую точность обучения в 10 из 18 условий, решив задачи, где градиентные алгоритмы терпели неудачу. По замерам авторов, ES находят окрестности в пространстве весов в 3.9 раза шире по сравнению с PPO, а размер общей для задач окрестности предсказывает сохранение навыков (p = 5x10^-5). ПОЧЕМУ это важно: Результаты показывают, что спящие нейроны и дрейф весов вызваны градиентной оптимизацией, а не самой нестационарностью среды. Однако нейроэволюция требует много сэмплов и с трудом сходится на узких пиках функции вознаграждения. Нейроэволюционировать тут: https://t.me/gonzo_ML_podcasts/4821