Gennady M

@gen_m · Russian · active

Subscribers 67.4K Subscribers, last 30 days: 67.3K → 67.4K +100 24h
Reach per post (ERR) 28.0%18.9K avg views
Posting 1.5/day last 7 hours ago
Reactions per 1K views 0.0

​Исследователи из MIT CSAIL представили метод Weight-Space Programming, позволяющий крупным языковым моделям редактировать веса других нейросетей без традиционного обучения. Модель Astra продемонстрировала способность напрямую изменять структуру чужих сетей и интерпретировать их назначение, просто читая массивы данных. В ходе экспериментов Astra изменила всего 0,016% весов модели Qwen3.5-0.8B. Это привело к росту показателей точности на тесте MATH-500 с 7,9% до 48,1%, а на GSM8K — с 13,8% до 67,1%. Также модель с нуля создала веса для игр MinAtar, которые оказались эффективнее сетей после 100 миллионов шагов обучения с подкреплением. Подобный подход превращает нейросети в полноценных программистов собственного «мозга», что делает процесс оптимизации ИИ мгновенным. Теперь для исправления ошибок в модели больше не требуются огромные вычислительные мощности и недели дообучения. Эпоха ручного подбора гиперпараметров и бесконечного градиентного спуска стремительно уходит в прошлое. Что это значит на практике? Сейчас гораздо более тяжелые модели, чем описанная в эксперименте, например Qwen2.5 7B Instruct 1M, которая запущена сейчас на моём макбуке с 24 Гб памяти, - это вполне себе такой профессиональный бредогенератор. Делать что-то серьёзное или даже не очень серьёзное на такой модели с 7 млрд параметров - пустая трата времени. А представленная в тесте модель на 0.8В - это то, что даже в режиме калькулятора не сможет умножить два шестизначных числа без ошибок. Но после тонкой настройки, ей показатели удалось поднять в 5-7 раз. Это говорит о том, что скоро начальные модели, запускаемые локально на смартфоне, смогут стать серьёзным инструментом. А уже если у вас старая карта 3090, не спешите её выбрасывать, она скоро сможет стать вообще суперкомпьютером.

Views over time

05K10K15K20K4 Nov 07:0213 Nov 00:0617.6K4 Nov 07:02: 0 views11 Nov 12:25: 16,300 views13 Nov 00:06: 17,600 views
Snapshots we took after posting.
WhenViews
4 Nov 2026, 07:020
11 Nov 2026, 12:2516.3K
13 Nov 2026, 00:0617.6K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.