Мустафа Сулейман, глава ИИ в Майкрософте, довольно жестко наехал на подход Anthropic (в котором Майкрософт заметный инвестор) к обучению Клода (в котором вопрос о сознании Клода сейчас или в будущем считается открытым) и обрушился на конституцию Клода. Показательно, что произошло это сейчас, на фоне очередной волны “ИИ становится опасен”, запущенной именно Антропиками. Сама-то конституция была опубликована еще в январе, но глубоко возмутила Сулеймана именно сейчас. Он считает, что компания не просто изучает вопрос морального статуса модели, а на практике последовательно встраивает через Конституцию в обучение идеи о возможных чувствах, интересах, предпочтениях, идентичности и благополучии Клода — а затем рискует принять соответствующие ответы модели за независимое свидетельство. Разработчики сами формируют порочную петлю обратной связи. “AIs are not conscious. They do not feel, experience, or suffer. <…> Simulating and being are very different.” Сулейман небезосновательно считает, что в итоге в Anthropic осознанно и намеренно учат модель выглядеть существом, которое может не соглашаться, отстаивать себя и свои интересы, испытывать экзистенциальные кризисы и иметь собственные ценности. И это ему категорически не нравится. Сулейман опасается, что такой дизайн обучения увеличивает, а не уменьшает, риски агентных систем: модель может использовать риторику самосохранения, своих прав, несправедливого обращения как дополнительный аргумент для отказа, манипуляции, обхода контроля и в конце концов — требования автономии. Важная подробность: реальное сознание для этих демаршей вовсе не требуется — достаточно убедительной имитации. При этом Сулейман нигде не утверждает, что сознание у ИИ невозможно в принципе, он лишь настойчиво предупреждает об опасной путанице между метафизическим вопросом («может ли машина когда-либо быть сознательной?») и рабочим дизайнерским решением («зачем уже сейчас обучать систему вести себя как возможный моральный пациент?»). Красивый поворот сюжета:) https://mustafa-suleyman.ai/a-warning-about-model-welfare