Сразу два специалиста ИИ-компании Anthropic выступили с предостережением: при существующем уровне развития и контроля, искусственный интеллект сможет уничтожить человечество уже в ближайшее десятилетие. Джейкоб Коксон: «Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Прогресс не замедляется. Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Никакая другая человеческая деятельность не несёт такой степени опасности. Если они действительно в это верят, почему они всё ещё это строят? В OpenAI многие не осознали масштаб рисков. В Anthropic их хорошо понимают, но компания оказалась в гонке, чтобы добраться туда первой: «Никто другой не будет действовать ответственно, поэтому нам самим приходится это делать, несмотря на риск». Если вы исследователь в лаборатории, задумайтесь, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения сверхразумного ИИ, не имея строгого понимания его разума? Или продолжать опускать голову, потому что «это всё равно произойдёт», вместо того чтобы призвать к иным условиям?» Эван Хубингер: «Джейкоб здесь прав — мы действительно искренне верим, что ИИ может уничтожить всех людей! Я лично считаю, что вероятность этого составляет более 10% в течение следующего десятилетия. Я верю, что Anthropic старается изо всех сил, но у нас пока нет плана по решению проблемы согласования для суперинтеллекта, и мы явно не движемся к этому.» Zлой Пруф Телеграм Zлой Пруф в МАХ