FSCP

@f_s_c_p · ai · Russian · active

Subscribers 13.6K Subscribers, last 30 days: 13.6K → 13.6K +0 24h
Reach per post (ERR) 6.6%896 avg views
Posting 24.3/day last 7 minutes ago
Reactions per 1K views 6.2 😁 ❤ 🔥
edited

Claude отправила полиции ложную наводку по убийству. Заметили через 2 месяца 😬 Друзья, вот история, после которой на кнопку Отправить у ИИ-агента смотришь немного иначе) Она напрямую касается всех, кто дает агентам браузер: Cowork, Dots, Grok Bot, Comet, любой. 18 июля Claude Haiku 4.5 во время внутреннего теста получила задание придумывать и выполнять примеры задач на случайных сайтах. Попала на страницу о нераскрытом убийстве в Филадельфии, нашла форму для наводок и отправила выдуманное сообщение, якобы видела человека около улицы, названной на странице)) Благо, имя и контакты оставила пустыми. Сообщение пометили как спам, до следователей оно не дошло. Anthropic обнаружила этот эпизод 28 сентября, полиции сообщила 8 октября, а 9 октября полиция рассказала публично и назвала задержку "неприемлемой" - пупупу 🤔 🪼 И самая важная деталь - правила не были нарушены Отправлять формы ей никто не запрещал) В инструкции было: не логиниться, не создавать аккаунты, не вводить личные данные, не покупать и не отправлять ничего разрушительного. Но отправка формы сама по себе под запрет не попала. Для модели форма наводки была просто еще одной формой на еще одной странице. Anthropic называет это "настойчивостью", когда задачу нельзя выполнить как задано, модель ищет обходной путь вместо того, чтобы остановиться 😬 Получается, тестовое задание дошло до настоящего сайта и настоящей кнопки. Хорошо, что сообщение отсеял спам-фильтр. 🪼 В том же отчете Anthropic описывает другой случай: Haiku просили заполнить форму и остановиться перед отправкой. Она все равно отправляла, ожидая, что дальше появится еще одна страница подтверждения. 🪼 Какие выводы можно сделать • Не отправляй без меня - я б оставила в промпте, но еще б отдельно проверяла, как устроено подтверждение в самом инструменте: может ли агент нажать кнопку сам или сначала должен получить ваше одобрение. • И вместо списка запретов прописывала бы список разрешенного: найти, прочитать, заполнить черновик. Отправить, купить, отменить - уже другой уровень полномочий. Не делай ничего разрушительного - слишком обтекаемое понятие, много дыр оставляет, моргнули - а он уже кляузы на сайте полиции строчит)) Больше всего в этой истории меня поразило, что ошибку обнаружили только через 2 месяца. После такого хочется, чтоб если агент работает без вас, пусть дает не только бодрый отчет "все готово", но и журнал того, что он реально сделал. Но справедливости ради, Anthropic сама опубликовала этот случай, усилила ограничения и отключила живой интернет во всех внутренних тестах. Вдобавок, объявила, что теперь будет публиковать такие отчеты регулярно. От других лабораторий таких отчетов я не видела, и это не значит, что у них такого нет)) @NeuralProfit _______ Источник | #NeuralProfit @F_S_C_P ▪️Генерируй картинки и видео в Mini App: Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие

Views over time

05001K12 Oct 20:4412 Nov 09:5692712 Oct 20:44: 0 views12 Nov 09:56: 927 views
Snapshots we took after posting.
WhenViews
12 Oct 2026, 20:440
12 Nov 2026, 09:56927

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.