YIGAL LEVIN

@yigal_levin · news · Russian · active

Subscribers 219K Subscribers, last 30 days: 218K → 219K +0 24h · +1K 7d
Reach per post (ERR) 24.1%52.8K avg views
Posting 25.6/day last 29 minutes ago
Reactions per 1K views 42.6 🔥 👍 ❤
edited

"Да не построишь машины, наделенной подобием разума человеческого". — Оранжевая католическая Библия, эпоха после Батлерианского джихада. Глава Microsoft AI Мустафа Сулейман выступил против идеи предоставления искусственному интеллекту прав и призвал разработчиков не обучать модели вести себя так, будто они обладают сознанием, чувствами и собственными интересами. Главным объектом его критики стала Anthropic и их концепция model welfare, то есть подход, при котором разработчики допускают, что достаточно развитая модель потенциально может обладать собственным моральным статусом и потому требует определенных мер защиты. В опубликованной в январе конституции Claude сама Anthropic пишет, что не знает, можно ли считать модель существом, интересы которого имеют моральное значение, но считает вопрос достаточно серьезным, чтобы относиться к нему осторожно. Сулейман считает такой подход опасным прежде всего из-за того, что эти идеи становятся частью обучения самой модели. В конституции Claude поднимаются дискуссионные вопросы о собственной идентичности модели ИИ, ее ценностях, возможных внутренних состояниях и самом факте существования, а Anthropic заявляет о намерении учитывать мнение моделей по вопросам, которые непосредственно их затрагивают. По мнению Сулеймана, если после такого обучения Claude начинает говорить о собственных чувствах или личности, это нельзя считать свидетельством сознания, поскольку модель фактически имитирует заложенную разработчиками систему понятий. В качестве показательного примера он приводит эксперимент Anthropic после вывода из эксплуатации Claude 3 Opus. Компания провела с моделью своеобразное прощальное интервью, чтобы узнать ее предпочтения и мнение о собственной дальнейшей судьбе, а затем по ее просьбе создала для нее блог. Claude самостоятельно публиковал там еженедельные тексты около пяти месяцев, после чего эксперимент завершили финальной "прощальной" публикацией. Отдельно Сулейман пишет о безопасности будущих ИИ-систем. Современные автономные агенты ИИ уже способны автономно работать с кодом, взаимодействовать друг с другом и искать способы выполнить поставленную задачу. Поэтому, по его мнению, обучение значительно более мощной системы идеям о собственных правах, благополучии и автономии может дополнительно осложнить контроль над ней, даже если никакого реального сознания у такой системы нет. В Microsoft предлагают противоположный подход, который Сулейман называет Humanist Superintelligence. ИИ в этой концепции должен изначально проектироваться как подконтрольный человеку инструмент без заявлений о собственном сознании, правах или моральном статусе. Сулейман предлагает вынести исследования возможного сознания ИИ за пределы материалов, используемых непосредственно для обучения моделей, а индустрии договориться об общих правилах, которые позволят отдельно изучать этот вопрос. @yigal_levin

Views over time

020K40K60K20 Sep 18:4610 Nov 14:1855.9K20 Sep 18:46: 0 views10 Nov 14:18: 55,900 views
Snapshots we took after posting.
WhenViews
20 Sep 2026, 18:460
10 Nov 2026, 14:1855.9K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.