"Да не построишь машины, наделенной подобием разума человеческого". — Оранжевая католическая Библия, эпоха после Батлерианского джихада. Глава Microsoft AI Мустафа Сулейман выступил против идеи предоставления искусственному интеллекту прав и призвал разработчиков не обучать модели вести себя так, будто они обладают сознанием, чувствами и собственными интересами. Главным объектом его критики стала Anthropic и их концепция model welfare, то есть подход, при котором разработчики допускают, что достаточно развитая модель потенциально может обладать собственным моральным статусом и потому требует определенных мер защиты. В опубликованной в январе конституции Claude сама Anthropic пишет, что не знает, можно ли считать модель существом, интересы которого имеют моральное значение, но считает вопрос достаточно серьезным, чтобы относиться к нему осторожно. Сулейман считает такой подход опасным прежде всего из-за того, что эти идеи становятся частью обучения самой модели. В конституции Claude поднимаются дискуссионные вопросы о собственной идентичности модели ИИ, ее ценностях, возможных внутренних состояниях и самом факте существования, а Anthropic заявляет о намерении учитывать мнение моделей по вопросам, которые непосредственно их затрагивают. По мнению Сулеймана, если после такого обучения Claude начинает говорить о собственных чувствах или личности, это нельзя считать свидетельством сознания, поскольку модель фактически имитирует заложенную разработчиками систему понятий. В качестве показательного примера он приводит эксперимент Anthropic после вывода из эксплуатации Claude 3 Opus. Компания провела с моделью своеобразное прощальное интервью, чтобы узнать ее предпочтения и мнение о собственной дальнейшей судьбе, а затем по ее просьбе создала для нее блог. Claude самостоятельно публиковал там еженедельные тексты около пяти месяцев, после чего эксперимент завершили финальной "прощальной" публикацией. Отдельно Сулейман пишет о безопасности будущих ИИ-систем. Современные автономные агенты ИИ уже способны автономно работать с кодом, взаимодействовать друг с другом и искать способы выполнить поставленную задачу. Поэтому, по его мнению, обучение значительно более мощной системы идеям о собственных правах, благополучии и автономии может дополнительно осложнить контроль над ней, даже если никакого реального сознания у такой системы нет. В Microsoft предлагают противоположный подход, который Сулейман называет Humanist Superintelligence. ИИ в этой концепции должен изначально проектироваться как подконтрольный человеку инструмент без заявлений о собственном сознании, правах или моральном статусе. Сулейман предлагает вынести исследования возможного сознания ИИ за пределы материалов, используемых непосредственно для обучения моделей, а индустрии договориться об общих правилах, которые позволят отдельно изучать этот вопрос. @yigal_levin
YIGAL LEVIN
Subscribers
219K
+0 24h · +1K 7d
Reach per post (ERR)
24.1%52.8K avg views
Posting
25.6/day
last 29 minutes ago
Reactions per 1K views
42.6
🔥 👍 ❤
Views over time
| When | Views |
|---|---|
| 20 Sep 2026, 18:46 | 0 |
| 10 Nov 2026, 14:18 | 55.9K |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
Nobody yet.