Гостев из будущего

Что-то давненько страшилок про ИИ не было. Недели две, наверное? Исследователь Anthropic Jacob Coxon уволился из компании, потому что не хочет дальше участвовать в гонке по созданию все более мощного ИИ. До этого он работал в OpenAI. Теперь, видимо, пойдет на свободную кассу в McD? Coxon написал, что OpenAI и Anthropic движутся к самосовершенствующемуся сверхинтеллекту, не имея надежного способа его контролировать. «Люди, создающие ИИ, совершенно серьезно считают, что он может убить нас всех до конца десятилетия». Люди тут же подтвердили, в лице Evan Hubinger, руководитель Alignment Science в Anthropic. Он подтвердил, что такой сценарий внутри компании действительно рассматривают всерьез, и написал, что лично оценивает вероятность гибели человечества из-за ИИ в ближайшие десять лет как более 10%. При этом Hubinger уточнил: речь не о нынешнем Claude, а о возможном будущем сверхинтеллекте. «У нас пока нет плана, как решить проблему alignment для сверхинтеллекта». В общем, один сотрудник Anthropic уволился, потому что не хочет участвовать в создании потенциально смертельно опасного ИИ. А человек, который в Anthropic как раз занимается проблемой его безопасного поведения, ответил: риск выше 10%, решения пока нет. Вы тоже удивляетесь, зачем это они? @gostev_future