Anthropic боится, что ИИ станет слишком умным уже слишком скоро. Сооснователь компании Джек Кларк считает, что модели подошли к порогу рекурсивного саморазвития, которое несёт риски для всего человечества. Если системы станут способны сами производить потомков и обеспечивать их безопасность, мониторинг и управление поведением станут намного важнее, чем сейчас. Разработчики осознают, что нажать на педаль тормоза сейчас сложно, либо уже поздно. Сам Claude чертовски быстро умнеет: в марте 2024-го он мог щёлкать задачи, на выполнение которых кодеру требовалось 4 минуты, через год стал брать таски, занимавшие у людей 90 минут. Сейчас ИИ молниеносно справляется с запросами, где человек потратил бы 12 часов. Учёные из Anthropic делают вывод: пока преимущество человека заключается в умении видеть общую картину и мыслить за пределами рамок поставленной задачи, но на горизонте нескольких лет это преимущество рискует быть утеряно.