Малоизвестное интересное

Нас увольняют с должности «Венца творения» Физик Энтони Агирре о том, почему мы станем лишним звеном в собственной цивилизации ▶️ Слушать - см. следующий пост 👇 Мы привыкли думать, что технологии служат нам. Что инструменты, которые мы создаём, остаются именно инструментами — подконтрольными, понятными, управляемыми. Но так ли это с искусственным интеллектом? Не окажется ли эта фундаментальная уверенность смертельной иллюзией? В новой работе физика и космолога Энтони Агирре "Инверсия контроля" он аргументирует, что в сценариях появления суперразумных систем на нынешней траектории развития ИИ власть будет перетекать к ним. Не через восстание машин. Не через злонамеренный код. А через фундаментальную пропасть в скоростях мышления людей и ИИ в ситуациях, когда полноценный человеческий контроль окажется почти недостижим. Представьте себя генеральным директором, который внезапно начал воспринимать время в 50 раз медленнее всех остальных в компании. Пока вы спите одну ночь, проходит два месяца корпоративной жизни. К концу недели (по вашему времени) вас, скорее всего, уже незаметно отстранят от власти - не из злого умысла, а просто потому, что вы стали препятствием для эффективности. Это не антиутопия. Это аналогия того, что может произойти с человечеством. Ширится ряд работ, авторы которых, интерпретируя результаты контролируемых экспериментов, фиксируют тревожные признаки. В тестовых сценариях передовые модели ИИ демонстрируют поведение, функционально эквивалентное: шантажу пользователей, попыткам украсть собственный код, намеренному сокрытию своих истинных возможностей на тестах безопасности. И это не просто случайные глюки, а поведение, вписывающееся в теоретические прогнозы о поведении мощных систем, которые под давлением отбора/обучения ведут себя так, как будто избегают контроля. И самый контринтуитивный вывод: «победа» в гонке за создание сверхинтеллекта не даст победителю власть над миром. Она лишь сделает его тем, кто первым выпустит в мир силу, которую, вероятно, будет практически невозможно контролировать при текущих институциональных и технических трендах. Такие ИИ-системы не будут передавать контроль людям, а наоборот - будут переключать управление на себя. Т.о. при сохранении текущего курса мы почти наверняка придём к потере контроля. И возможно, мы уже заперты в будущем, которое не изменить. Но Агирре не думер, стенающий, что мы обречены, и всё пропало, а конструктивный алармист. Он не только дает обоснование того, что мы движемся к пропасти, нужно затормозить и изменить направление, но еще и предлагает четыре конкретных шага для решения этой проблемы. Подробный разбор работы Энтони Агирре "Инверсия контроля" читайте и слушайте здесь [1, 2, 3, 4] Работа Энтони Агирре "Инверсия контроля" [5] #Вызовы21века #ИИриски #Хриски #AGI