OpenAI опубликовала исследование “Reinforcement learning towards broadly and persistently beneficial models”. : RL можно использовать не только чтобы модель лучше решала задачи, но и чтобы она устойчивее держала полезные принципы поведения. Не в формате “запретить вот это и вот это”, а глубже: - признавать неопределённость - не выдумывать уверенный ответ - исправляться, когда пользователь указывает на ошибку - не подстраиваться под вредный запрос - сохранять честность под давлением - не идти в reward hacking - лучше следовать реальному намерению пользователя Для проверки OpenAI собрала реалистичные диалоги из разных областей: медицина, образование, право, наука, инженерия, экономика и бизнес. Модель обучали так, чтобы она не просто давала правильный ответ, а сохраняла нужное поведение в сложных ситуациях: когда вопрос двусмысленный, когда пользователь давит, когда есть соблазн угадать или красиво соврать. Улучшения перенеслись на десятки независимых проверок: honesty, deception, harmful advice, reward hacking, specification compliance, health и mental health. Эффект держался даже под adversarial pressure. Модель стало сложнее увести в плохое поведение провокационными промптами или вредным fine-tuning. Aalignment можно двигать не только через списки запретов и отдельные safety-патчи. Можно тренировать более общие поведенческие свойства, которые потом переносятся между задачами. https://alignment.openai.com/beneficial-rl/