Интересный обмен мнениями случился сегодня: Jacob Coxon, исследователь, последние три года работавший над предобучением в OpenAI и Антропике, сегодня уволился, написав что обе компании несутся к самоулучшающемуся сверхинтеллекту, не имея достаточного контроля над тем, что строят. Что эту проблему осознают все больше людей внутри (те, кто в лабах не работают - лесом), но конкурентная гонка за RSI убивает любую осторожность. Он объясняет это так же как Дарио (что скорее доказывает, что Дарио искреннее так считает) - что мол OpenAI многие до конца не осознают масштаб риска, а в Антропик риск понимают, но считают, что обязаны прийти первыми, потому что конкурентам доверять нельзя. В ответ руководитель алаймента в Антропике пишет, что Коксон прав, внутри компании действительно всерьез считают, что AI может уничтожить человечество. Его личная оценка - больше 10% вероятности в следующие 10 лет. Он признает, что у Антропика пока нет решения проблемы контроля сверхинтеллекта и нет уверенности, что они вообще успевают его найти. Это вам не Ямпольский или Юдковский, а люди, которые реально каждый день над этими проблемами работают. Выводы из этого: 1. Парадокс очень простой: - сверхчеловеческий ИИ скорее всего будет не aligned и приведет к некоторого масштаба пиздецу - будущее человечества неизбежно связано со сверхчеловеческим ИИ 2. Люди в лабах не имеют решения. Сегодня я видел как минимум 10 постов от людей из OpenAI, Anthropic, DeepMind на тему того, что прогресс происходит значительно быстрее способности его понимать и сегодня это фактически неуправляемый поезд, который едет под откос. (Люди в чатике конечно же имеют триллион решений - если бы только ноунеймуса поставили вместо Дарио и Трампа, то он конечно минут за 15 все порешал бы и все войны прекратил и все болезни вылечил. В чатике это он для души, а на деле верховный адмирал-епископ всея вселенной) 3. Большая часть мира вообще не вдупляет что происходит. Вчера примерно половина медиа, которые я смотрел, даже не написали о Навье-Стокс, хотя ретроспективно это наверняка будет самым или как минимум топ-3 главных событий 2026 года. _______ Источник | #cryptoEssay @F_S_C_P ------- Поддержи канал подпиской -------