Полтриллиона долларов не спасут от рака. AGI - тоже Возможно, главная преграда на пути к решению важнейших проблем человечества - не нехватка денег, данных или интеллекта, а неверно заданная оптимизация нашего коллективного разума. ⚡️ Аудио-версию слушайте в посте выше 👆 Принято считать аксиомой - если задача не решается, значит, нужно добавить «решательных мощностей» - больше денег, больше вычислений, более умного ИИ. Но проблема рака, возможно, указывает на нечто куда более неприятное. Даже полтриллиона долларов и даже AGI сами по себе не гарантируют прорыва, если вся система по-прежнему устроена так, что оптимизирует не победу над болезнью, а набор прокси-метрик, локальных стимулов и суррогатных целей. Еще в 2023 году, в эссе «Ловушка Гудхарта для AGI», я написал прогноз, который, как мне кажется, многие до сих пор так и не поняли. Главная преграда на пути к использованию ИИ для решения самых сложных задач - это не нехватка вычислений, денег и интеллекта (машин и людей). Главная преграда в том, что существующие системы коллективного решения сложных проблем организованы так, чтобы оптимизировать не цель, а ее измеримый суррогат. Годом позже в посте «Наняли бы вы на работу Океан Соляриса?», я снова возвращался к этой мысли: мир неотвратимо приближается к ловушке Гудхарта, где ИИ будет все лучше решать не наши реальные проблемы, а их удобные прокси (т.е. по сути, не облегчая, а усугубляя и без того высокую сложность решения важнейших проблем). И вот теперь я снова пытаюсь достучаться со своим прогнозом. На сей раз, иллюстрируя его ситуацией в одном из самых чувствительных и судьбоносных направлений - лечение рака. Эссе Эмилии Джаворски How AI Can, and Can’t, Cure Cancer мне видится важным не только как текст о раке и ИИ. Оно важно, как еще одно подтверждение гораздо более общего диагноза. Даже если залить систему гигантскими деньгами. Даже если дать ей очень мощный ИИ. Даже если однажды появится AGI. Это само по себе еще не значит, что система начнет двигаться к подлинной цели. Потому что если система устроена так, что ученые оптимизируют публикабельность, стартапы - инвестиционную убедительность, клиники - потоки процедур, страховщики - минимизацию выплат, регуляторы - избегание громких ошибок, а разработчики - красивые метрики моделей, то на выходе возникает не лечение рака как главная цель, а каскад локальных оптимизаций, каждая из которых рациональна по-своему - и разрушительна для целого. И тогда ИИ совсем не обязательно становится спасителем. Более того. Он может стать идеальной машиной усиления каскада ошибок. • Не вылечить системную болезнь, а довести ее до совершенства. • Не приблизить подлинную цель, а еще быстрее увести систему в сторону прокси. • Не победить рак, а сделать оптимизацию суррогатных метрик беспрецедентно эффективной. В этом и состоит воистину тревожный вывод. Возможно, главная проблема на пути к решению самых тяжелых задач человечества - не отсутствие AGI и не нехватка ресурсов. Возможно, главная проблема в другом: цивилизация все лучше умеет максимизировать показатели и все хуже - удерживать связь этих показателей с реальностью. И если это так, то рак здесь - не исключение, а краш-тест для коллективного разума человечества. Потому что, если даже там, где на кону жизнь и смерть, система снова соскальзывает в ловушку Гудхарта, значит, перед нами уже не частная проблема медицины. Перед нами - общая техно-социальной болезнь цивилизации. Так что, увы, но пока совершенно неясно: • сможет ли ИИ помочь решить наши самые сложные проблемы, • или он лишь поможет нам окончательно заблудиться в собственных метриках. #ИИ #AGI #Вызовы21века