FSCP

@f_s_c_p · ai · Russian · active

Subscribers 13.6K Subscribers, last 30 days: 13.6K → 13.6K +0 24h
Reach per post (ERR) 6.6%893 avg views
Posting 24.2/day last 2 hours ago
Reactions per 1K views 6.2 😁 ❤ 🔥
edited

Полтора года назад авторов сценария AI 2027 упрекали, что они морочат читателям голову гипотетической технологией, с которой ИИ сможет рассуждать про себя, не записывая мысли словами, и никто не увидит, что он задумал. Там такой прорыв случается в марте 2027-го, а совсем недавно OpenAI выпустила GPT-6 Astra, которая делает шаг в эту сторону. Скотт Александр, один из авторов сценария, ещё в мае писал, что мы раз за разом недооцениваем экспоненты и слишком рано ждём, что рост выйдет на плато. В феврале исследователи из Уортона подогнали S-образную кривую под график METR, где видно, насколько длинные задачи ИИ выполняет сам, и решили, что перелом уже пройден. Следующая же модель, Claude Opus 4.6, оказалась вдвое выше их потолка. Теперь Скотт разбирает, насколько страшна Astra. У передовых языковых моделей, вероятно, около сотни слоёв, и если задаче нужно больше шагов, с 2024 года ИИ выписывает промежуточный результат в черновик — цепочку рассуждений — и прогоняет его через себя заново. Придумали это ради новых способностей, но заодно повезло с безопасностью, ведь если там написано «взломаю пару сайтов, а потом убью всех людей», систему можно выключить. Однако слова медленнее мысли, и соблазнительно возвращать её на первый слой как есть. Язык, на котором она при этом остаётся, называют нейроязыком (neuralese). Мысль на нём — это вектор из тысяч чисел, и читать такое мы пока не умеем. Замысел убить всех людей выглядел бы как (0.4, 0.1, 5, 0.443…). В Astra, как сообщила The Information, данные в ограниченном объёме гоняют по кругу через одни и те же слои. Райан Гринблатт из Redwood Research назвал это, возможно, худшим, что пока случалось с безопасностью ИИ. Главный научный сотрудник OpenAI Якуб Пахоцкий ответил, что глубина вычислений у Astra отличается от GPT-4 не больше чем вдвое. Скотт поясняет, что по этой логике слои в модели добавляют годами, а петля просто делает то же другим способом. Он признаёт, что повторный проход слабее настоящего слоя, а полноценный нейроязык без всякого черновика пока толком никто обучать не умеет. Но опасность измеряется тем, сколько шагов ИИ делает молча, и здесь Скотт выделяет три ступени. Обычная модель не может ничего задумать, не оставив следов в черновике. С петлями она успевает составить план целиком между двумя словами. На нейроязыке ИИ строит козни сколько угодно, и мы об этом не узнаем. Astra частично дошла до второй ступени, до третьей пока никто. Настоящую глубину компании наращивают примерно на 20% в год, а петлями можно добавить сотни слоёв разом. Британский институт безопасности ИИ замерил, на что Astra способна без черновика, и результаты попали в её системную карточку. Модель справляется с половиной олимпиадных задач по математике, на которые у человека уходит около получаса, а у предыдущей GPT-5.6 Sol планка была 3,6 минуты (с оговоркой, что цифра может быть завышена). Часть исследователей считает, что для известной архитектуры Astra подозрительно хороша, но Пахоцкий уверяет, что дело не в петлях. Главный аргумент Скотт берёт из эссе о том, что табу работают, только когда у них чёткая граница. В США алкоголь продают с 21 года. Покупатель, которому 21 исполнится послезавтра, ничем не отличается от 21-летнего, но если сдвинуть границу на 20,8 года, тот же вопрос встанет про 20,799. Крошечная ядерная бомба взрывается не сильнее обычной, но после неё большую сдерживает уже куда более размытое табу. Ответ Пахоцкого звучит как «да, мне ещё нет 21, но до дня рождения пара месяцев» или «да, я применил ядерное оружие, но совсем маленькое». Одни {...продолжить в источнике} _______ Источник | #myxomatosis_of_amygdala @F_S_C_P ------- Поддержи канал подпиской -------

Views over time

02505007501K29 Sep 20:4912 Nov 09:5679829 Sep 20:49: 0 views12 Nov 09:56: 798 views
Snapshots we took after posting.
WhenViews
29 Sep 2026, 20:490
12 Nov 2026, 09:56798

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.