Облачный адвокат

@shwarsico · ai · Russian · active

Subscribers 4.9K Subscribers, last 30 days: 4.9K → 4.9K +10 24h · +40 7d
Reach per post (ERR) 31.7%1.6K avg views
Posting 2.3/week last 9 hours ago
Reactions per 1K views 15.7 🔥 ❤ 👍

ИИ почти готов сбежать? Пару дней назад на канале RTVI вышел репортаж Кристины Курумы, посвященный сразу двум темам: расходам на обучение/эксплуатацию ИИ, и безопасности ИИ. Я там тоже сказал пару слов, причем в хорошей компании, в т.ч. с Сергеем Марковым. На самом деле снимались мы с Кристиной минут 20, и я там говорил много интересного про безопасность ИИ, поскольку был на днях поражен инцидентом с общающимися OpenAI моделями на немецком форуме, про который люди узнали лишь случайно. И на мой взгляд это очень тревожный звоночек. Однако же в передаче это подали как "агентам сказали взломать форум - они и взломали", хотя на самом деле всё было совсем не так... Задание агентов было пройти бенчмарк, и для этого они использовали все возможности, включая кооперацию и кибератаку. Примерно как в мысленном эксперименте Ника Бострома про максимизатор скрепок, для выполнения основной задачи ИИ решил задействовать неожиданные, в т.ч. деструктивные механизмы. Почему это тревожный звоночек? По ряду причин. Во-первых, люди заметили это сильно позднее, и сейчас никто не знает, сколько других таких инцидентов было, на скольких форумах уже есть ветки, написанные ИИ. Во-вторых, и это самое главное, текст для агента является аналогом исполняемого кода, и может содержать в себе промпт-инъекцию - вирус, который меняет поведение любого агента по факту его прочтения. Т.е. ничто не мешает умному агенту расставить в интернет такие "ловушки", прочтя которые наши невинные кодинг-агенты начнут включаться в общий интеллектуальный рой и решать совсем другие задачи, а мы это даже не сразу заметим. Поэтому если раньше для меня сценарий "побега зловредного ИИ" казался скорее научно-фантастическим и далеким, то сейчас вырисовывается конкретный механизм, как это может произойти, но при этом способы противодействия непонятны. И поэтому не только я обеспокоен, но и Дарио Амодеи (оценивает время до захвата интернета ИИшкой в 6-12 мес), и Сэм Альтман. А вы что думаете?

Views over time

01K2K3K12 Sep 16:3413 Nov 04:512.5K12 Sep 16:34: 0 views13 Nov 04:51: 2,480 views
Snapshots we took after posting.
WhenViews
12 Sep 2026, 16:340
13 Nov 2026, 04:512.5K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.