Всем спокойной ночи! Немного размышлений на ночь 🌃 из новостей про ИИ за последние дни: 🤖 ИИ может уничтожить человечество. И теперь об этом говорят не фантасты, а сами создатели искусственного интеллекта. Исследователь Anthropic Джейкоб Коксон ушёл из компании, заявив, что индустрия слишком быстро движется к самоулучшающемуся ИИ и фактически «играет нашими жизнями». Его коллега Эван Хубингер, занимающийся безопасностью ИИ, оценивает вероятность уничтожения человечества в ближайшие 10 лет более чем в 10%. Другой исследователь Anthropic, Сэмюэл Маркс, также предупреждает о риске вымирания человечества. А глава Anthropic Дарио Амодеи призвал притормозить развитие передового ИИ. По его оценке, уже через 6–12 месяцев автономные AI-агенты могут получить возможности действовать в интернете в огромном масштабе. И самое показательное — его поддержал Илон Маск. Маск написал: 👉 «Dario is right» — «Дарио прав». Сэм Альтман из OpenAI также выступил за усиление безопасности и контроля. 🇺🇸 В дело подключился и Конгресс США. Конгрессмены Сэм Ликкардо, Джордж Уайтсайдс, Лори Трейхан и Тед Лью попросили спикера Палаты представителей Майка Джонсона не уходить на длительный перерыв и срочно заняться защитой от рисков ИИ. А Тед Лью и республиканец Натаниэль Моран продвигают идею AI Kill Switch — механизма, который позволит человеку замедлить или полностью отключить опасную систему. 🛑 То есть речь уже идёт не только о том, что ИИ умеет, а о том, сможет ли человек его остановить. И вот здесь начинается самое неприятное 🇷🇺 Представьте автономные AI-агенты, которые научились самостоятельно находить уязвимости и атаковать компьютерные системы. Тысячи серверов. Миллионы устройств. Банки. Больницы. Государственные системы. Энергетика. Связь. Дата-центры. А теперь представьте, что такие системы начинают одновременно удалять информацию, шифровать базы, отключать сервисы и уничтожать резервные копии. 💥 В какой-то момент может исчезнуть огромный объём цифровой информации. Сайты перестают работать. Облачные хранилища недоступны. Фотографии, документы и архивы пропадают. Банковские и государственные сервисы не работают. И привычный нам интернет в какой-то момент может оказаться уничтожен. Это пока сценарий риска, а не прогноз. Но отдельные элементы уже реальны: современные ИИ способны самостоятельно искать информацию, писать код, находить уязвимости и выполнять сложные последовательности действий. Самое тревожное — скорость. 🧠 ИИ становится всё автономнее. 🚀 Компании продолжают гонку. 💰 На кону миллиарды. ⚠️ А люди, находящиеся внутри этой гонки, уже говорят, что не уверены в возможности полностью контролировать сверхмощные системы. Мы впервые создаём технологию, которая потенциально может стать умнее своего создателя. И именно поэтому сейчас всё чаще звучит одна мысль: сначала научиться её контролировать — и только потом продолжать разгонять. 🤖🌍