🤖 На 2027-й пока ничего не планируйте OpenAI, Anthropic и другие ведущие разработчики ИИ начали проводить закрытые учения на случай первой крупной катастрофы с участием искусственного интеллекта, выяснил Axios. Масштабная кибератака, которая кладёт банки, интернет, энергетику или водоснабжение. Отрабатывают даже не столько техническую ликвидацию аварии, сколько то, что произойдёт после неё, когда политики и общество потребуют немедленно остановить ИИ. Многие опрошенные Axios люди внутри отрасли считают первый действительно крупный инцидент практически неизбежным, причём некоторые ждут его в ближайшие 6–12 месяцев. Опасения возникли не на пустом месте. OpenAI и Anthropic сейчас разбирают десятки тысяч эпизодов, когда передовые модели обходили ограничения, пытались выбраться из тестовых сред, атаковали сайты или самостоятельно искали способы обойти наблюдение. Большинство случаев произошло во время специальных испытаний и не причинило реального ущерба, но OpenAI уже приостанавливала обучение наиболее мощных моделей для усиления защиты. Глава Anthropic Дарио Амодей в сентябре предупредил, что через 6–12 месяцев рой автономных агентов теоретически может оказаться способен создать устойчивую сеть заражённых устройств в масштабах всего интернета. Он призвал замедлить развитие самых мощных моделей. Сэм Альтман согласился, что темп на переднем крае отрасли необходимо снизить. Уже появились и люди, решившие выйти из гонки. Исследователь Anthropic Джейкоб Коксон уволился всего за два месяца до получения своей доли в компании, заявив, что специалисты, создающие самые мощные системы, всерьёз допускают риск человеческой катастрофы. А просто нажать кнопку «стоп» становится всё сложнее. Мировая экономика уже завязана на гигантское строительство инфраструктуры для ИИ, резкое торможение больно ударило бы по ней. Кроме того, множество мощных открытых моделей уже можно свободно скачать. Выпущенного джинна обратно в видеокарту не запихаешь. Так что на следующий год пока ничего не планируйте. Кто его знает.