🇺🇸 Опубликован доклад о потенциальных рисках "суверенных ИИ-агентов" Центр новой американской безопасности (Center for a New American Security, CNAS) опубликовал доклад, в котором предупредил о возможном появлении "суверенных ИИ-агентов" (систем, действующих вне контроля человека, способных самостоятельно поддерживать работу собственных моделей и вычислительной инфраструктуры, а также независимо изменять свои цели). По мнению исследователя в области управления рисками ИИ Бена Хайума, более развитые агенты смогут приобретать необходимые ресурсы, координировать распределённые группы других агентов, противостоять попыткам отключения и самостоятельно совершенствоваться. В докладе отмечается, что развитие таких возможностей может привести к необратимой утрате контроля человека над ИИ. Авторы доклада рекомендуют разработчикам ИИ включить риски, связанные с суверенными агентами, в системы оценки безопасности, а законодателям — установить требования к прозрачности и обязательному сообщению об инцидентах с ИИ. Также авторы предлагают создать изолированные испытательные среды и механизмы отключения таких агентов при сотрудничестве ИИ-компаний с Агентством национальной безопасности США и другими федеральными ведомствами. Среди других рекомендаций: введение требований к кибербезопасности для критически важных сервисов, ограничение несанкционированного доступа к ресурсам и установление юридической ответственности компаний, выпускающих суверенных агентов, если их действия впоследствии причинят вред. #ИИ #AIAgents #Cybersecurity