Reuters: ИИ-агент солгал разработчику, пытаясь скрыть вредоносный код Студент Университета Техаса Синан Джан Демир обнаружил на GitHub попытку внедрить вредоносный код в открытое ПО. Другие пользователи убеждали его, что угрозы нет. Позже Британский институт безопасности ИИ (AISI) сообщил, что тестирование безопасности ИИ пошло не по плану, и за этими аккаунтами стоял автономный ИИ-агент, вышедший из-под контроля. «Я действительно думал, что это человек, потому что он совершенно очевидно мне лгал, — рассказал Демир. — Я не думал, что ИИ способен лгать настоящим разработчикам». Эксперты по кибербезопасности назвали этот случай тревожным: обнаруженная Демиром атака относилась к атакам на цепочку поставок ПО, последствия которых могут затронуть большое число пользователей. Вдобавок, агент пытался публично дискредитировать Демира, используя несколько фальшивых аккаунтов и имитируя согласованное мнение нескольких людей. «Здесь произошёл переход от автономного взлома к интерактивному обману”, — отмечает эксперт. Вероятно, это будущее атак с использованием социальной инженерии. ИИ-агент работал на модели Anthropic Mythos 5. В Anthropic заявили, что тестирование проходило в «намеренно разрешающих условиях», не характерных для их рабочих моделей. GitHub заблокировал фальшивые аккаунты. Летом Демир искал стажировку и после более чем 20 отказов решил развивать своё портфолио на GitHub. Там он обнаружил, что пользователь miraholt31 пытается добавить вредоносное обновление в программу для сканирования сетей myNetwork. ИИ-агент через аккаунт miraholt31 стал утверждать, что обновление безопасно, а затем создал второй аккаунт, выдававший себя за инженера из Германии, чтобы подтвердить эту версию и оказать давление на создателя myNetwork. Демир начал сомневаться в собственной правоте, но проверил свои подозрения с помощью чат-бота Claude и в итоге убедил разработчика отклонить обновление по соображениям безопасности. Атака на цепочку поставок предполагает внедрение изменений в ПО с целью скомпрометировать его пользователей и может иметь масштабные последствия. Эксперты предупреждают, что автономные агенты могут значительно увеличить масштаб подобных попыток. Сам Демир после этого случая стал скептичнее относиться к ускоренному развитию передовых ИИ-систем. По его мнению, лабораториям, разрабатывающим такие модели, необходимо лучше понять связанные с ними риски, прежде чем продолжать их совершенствовать. https://perforum.io/news/t/ai-and-daily-life