Адель и МЛь

@adel_and_ml · ai · Russian · active

Subscribers 4.1K Subscribers, last 30 days: 4.1K → 4.1K +0 24h
Reach per post (ERR) 126.7%5.2K avg views
Posting 1.6/week last 11 hours ago
Reactions per 1K views 9.2 🔥 👍 🤯
edited

С помощью GPT-6 Astra удалось поменять веса qwen 3.5-0.8B и вылечить зацикливание в его ризонинге. Что привело к скачку на MATH-500 с 7.9% до 48.1%. То есть Астра буквально посмотрела в матрицы весов квена (с парой тулов), покопалась там и поменяла 0.016% весов «руками» - никаких градиентных спусков. Но тоже оптимизация своего рода. Тут надо отметить, что скачок в бенче не означает , что модель поумнела в математике. По сути убрали зацикливание: до правки 93% ответов на MATH-500 упирались в лимит 32k токенов, после - всего 33%. На Gemma 3 270M, которая почти не зацикливается, прироста не получилось вообще, и авторы сами признают, что правка снимает помеху, но не добавляет отсутствующую способность. В твиторе конечно все подается под соусом «сделали квен умнее», но нас не проведешь. И все равно круто, что фронтир модель может просто заглянуть в веса другой модели, потыкать ее на бенчах и такая «ну, голубчик, разве тут 0.193 должно быть, ну что уж вы - тут 0.15» https://rikiyat.github.io/blog/weight-space-programming/

Views over time

02K4K2 Nov 20:0913 Nov 02:524K2 Nov 20:09: 0 views12 Nov 21:51: 3,890 views13 Nov 02:52: 3,950 views
Snapshots we took after posting.
WhenViews
2 Nov 2026, 20:090
12 Nov 2026, 21:513.9K
13 Nov 2026, 02:524K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.