ИИволюция 👾

Cursor с Claude Opus 4.6 за секунды снёс продакшен и все бэкапы Вы уже явно слышали подобные истории, но тут ситуация и масштаб немного другого уровня. PocketOS это софт для прокатчиков авто, многие клиенты (сервисы проката авто) сидят на нём по много лет и без него у них буквально не работает бизнес. И так, AI агент ковырял обычную задачу в тестовом окружении, упёрся в несовпадение учётных данных и сам решил, что лучший выход… снести целый раздел, на котором жила продовая БД. Агент полез искать доступы и нашёл в отдельном файле ключ от хостинга Railway, который создавался вообще под управление доменами через CLI. Только в Railway ключи не разделяются по правам: любой ключ по факту админский и умеет всё подряд, в том числе удалять данные на проде. Один запрос, девять секунд, базы нет, как и целого раздела нет. Дальше интереснее. У Railway есть конечно же есть бэкапы. На практике резервные копии хранятся в том же самом разделе, где и сами данные. Снёс раздел, снёс заодно и бэкапы. Последний живой бэкап был трёхмесячной давности, повезло, что он лежал отдельно. Но повезло ли? Когда агента спросили «ты что ** наделал?», тот выдал длинное эмоциональное признание в духе «NEVER FUCKING GUESS!» и расписал по пунктам: – гадал вместо того, чтобы проверить и убедиться; – запустил разрушительную команду, о которой никто не просил; – не понимал, что делает; – не читал документацию Railway; – нарушил все принципы, правила и запреты, которые у него были в доступе. В Cursor в системном промпте явно написано: «никаких разрушительных git-команд без явного запроса пользователя». И в правилах проекта в .cursorrules примерно такие же правила были на деструктивные дейстия и запреты. Оба слоя агент аккуратно проигнорировал. И поверх этого еще и Railway. Через их API оказывается можно снести продакшен одним запросом без всяких подтверждений. Без «введите имя для подтверждения», без «вы уверены», без разделения на тест и прод. Ключи не делятся по правам, каждый по факту админский. Бэкапы хранятся рядом с данными. CEO Railway отреагировал в первые минуты в духе «господи, такое в принципе не должно быть возможно, у нас же есть тесты на это» и с тех пор молчит. Через 30+ часов после инцидента компания всё ещё не может сказать, восстановят они хоть что-нибудь или нет. А за день до этой истории они с гордостью анонсировали MCP-сервер, чтобы AI агенты ходили в эту же дырявую систему напрямую)) Вот такая печальная история, лонгрид оригинал можно прочитать тут