Анализ данных (Data analysis)

@data_analysis_ml · ai · Russian · active

Subscribers 52K Subscribers, last 30 days: 52K → 52K +0 24h
Reach per post (ERR) 11.1%5.8K avg views
Posting 5.0/day last 44 minutes ago
Reactions per 1K views 31.2 ❤ 👍 🔥
edited

Можно ли обучать нейросеть почти как мозг, но без классического backprop? Новая работа Diffusing Blame проверяет жёсткое ограничение из биологии: принцип Дейла. В реальном мозге нейрон обычно не «смешивает роли»: он либо возбуждающий, либо тормозящий. А в обычных нейросетях один и тот же юнит спокойно может иметь и положительные, и отрицательные исходящие веса. Удобно для обучения, но биологически странно. Авторы делают dual-stream архитектуру: отдельные excitatory/inhibitory потоки и только неотрицательные матрицы весов. Знак связи задаётся не самим весом, а типом популяции. Классический backprop требует в обратном проходе почти точные транспонированные копии forward-весов, а в биологии такого механизма не видно. Вместо этого используется Error Diffusion: глобальный сигнал ошибки напрямую доходит до скрытых слоёв. Главная добавка статьи — modulo error routing, который расширяет ED с бинарных задач на multi-class. Результаты: * 96.7% на MNIST * 61.7% на CIFAR-10 * ED-PPO протестирован в RL на Brax locomotion и Craftax * на HalfCheetah ED-PPO даже обходит обычный BP-PPO в их эксперименте * на более сложных задачах вроде Craftax результат слабее, но всё ещё конкурентен с DFA Интересно, что сеть со строгим биологическим ограничением всё равно может учиться на картинках и RL-задачах без транспорта весов назад. Paper: https://arxiv.org/abs/2606.31700 @data_analysis_ml

Views over time

02K4K6K17 Jul 22:2812 Nov 06:465K17 Jul 22:28: 0 views12 Nov 06:46: 4,980 views
Snapshots we took after posting.
WhenViews
17 Jul 2026, 22:280
12 Nov 2026, 06:465K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.