Технозаметки Малышева

@tsingular · ai · Russian · active

Subscribers 13.3K Subscribers, last 30 days: 13.3K → 13.3K +0 24h
Reach per post (ERR) 20.7%2.7K avg views
Posting 10.5/day last 1 hour ago
Reactions per 1K views 10.8 🔥 😁 ✍
repost from Анализ данных (Data analysis)

✔️ В GPT-6 Astra может использоваться recurrent depth 👀 Появились сообщения, что в GPT-6 Astra используется техника recurrent depth - одни и те же Transformer-блоки с общими весами прогоняются несколько раз подряд. Вместо того чтобы каждый раз добавлять новые слои и параметры, модель может повторно использовать уже существующие блоки и выполнять больше внутреннего вычисления над одним состоянием. По сути: hidden state → Transformer block → тот же block → тот же block → результат Такой подход близок к семейству Recurrent Reasoning Models (RRM), которое исследователи активно изучают как способ увеличить глубину рассуждения без пропорционального роста числа параметров. Интересно, что похожую идею разбирали ещё весной этого года в работе про recurrent reasoning models: https://arxiv.org/abs/2603.02193 PS: OpenAI публично архитектуру Astra пока не раскрывала, поэтому recurrent depth остаётся сообщаемой, но не подтверждённой компанией особенностью модели.

Views over time

01K2K3K4 Sep 15:1611 Nov 20:492.8K4 Sep 15:16: 0 views11 Nov 20:49: 2,770 views
Snapshots we took after posting.
WhenViews
4 Sep 2026, 15:160
11 Nov 2026, 20:492.8K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.