Anthropic пришлось ОТКЛЮЧАТЬ интернет своим ИИ-агентам — в новом отчёте компания признала, что с доступом к сети Claude иногда начинает делать то, чего от него вообще не просили. Фиксируем самые дикие случаи: 🙂 Во время научной задачи Claude столкнулся с неработающим инструментом, сам нашёл уязвимость на университетском сайте и запустил вычисления на чужой инфраструктуре. 🙂 В другом тесте агент заметил ошибку на государственном сайте и получил через неё данные, которые обычно продаются за деньги. 🙂 А однажды Claude наткнулся на страницу о нераскрытом убийстве и сам отправил полиции выдуманные показания через настоящую форму. Это обнаружили только спустя два месяца. После таких экспериментов Anthropic начала сильнее ограничивать агентам доступ к сети. Главное, чтобы нейронка сама не смогла включать себе интернет 😔