эмм тут В MIT вежливо попросили GPT-6 Astra улучшить маленький Qwen3.5-0.8B в математике, но не обучением, а прямой правкой весов. Astra посмотрела, как модель решает задачи, заметила, что та уходит в бесконечные циклы рассуждений, нашла виноватое направление в двух слоях и вычла его, изменив 0,016% весов. Результат на MATH-500: было 7,9%, стало 48,1%, следование инструкциям тоже выросло втрое, и всё это без градиентов и обучения🤯. В том же блоге она по сырым числам угадывает, в какую игру играет нейросеть, чинит сломанную политику машинки одним ответом и пишет с нуля сеть для Breakout, которая играет в 20 раз лучше обученной. Авторы честно оговаривают, что новых способностей так не добавить, можно только убрать то, что мешает, а регрессии на остальных задачах пока никто не показал. Но похоже, вот так всё и закончится (или начнётся): сегодня большая модель точечно лечит маленькую, а следующий шаг - модель, которая правит саму себя, тот самый RSI (рекурсивное самоулучшение)🧬