Сергей Марков: машинное обучение, искусство и шитпостинг

@oulenspiegel_channel · ai · Russian · active

Subscribers 12.4K Subscribers, last 30 days: 12.4K → 12.4K +0 24h · +0 7d
Reach per post (ERR) 30.4%3.8K avg views
Posting 6.5/week last 3 days ago
Reactions per 1K views 17.7 😁 👍 🤣

Видели, кстати, что творится: https://arxiv.org/abs/2610.31642 Исследователи (вполне вероятно, вооружённые современными ИИ-инструментами) нашли и починили два бага — в софтмаксе и кросс-энтропии, а именно: — Softmax Collapse — случается, когда один логит сильно больше остальных. Из-за округления градиент по этому логиту может незаметно обнулиться (а по остальным — нет). — Softmax Cancellation — если при вычислении кросс-энтропии распределения близки (например, при дистилляции, когда студент инициализируется учителем), градиенты могут заметно отличаться от нуля. Причём был в реализациях Softmax и Cross-Entropy как в Jax, так и PyTorch. Починка помогает стабилизировать обучение моделей. Интересно, что косяк был, что называется, «у всех навиду». А вообще, мой всем совет, используйте, где это возможно, вероятностное округление вместо обычного — в мире low precision-обучения это мастхэв

Views over time

02K4K27 Oct 10:1312 Nov 03:253.6K27 Oct 10:13: 0 views12 Nov 03:25: 3,640 views
Snapshots we took after posting.
WhenViews
27 Oct 2026, 10:130
12 Nov 2026, 03:253.6K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.