Все о блокчейн/мозге/space/WEB 3.0 в России и мире

Теперь можно рассчитать, сколько вычислений тратить на обучение ИИ Одна из редких статей, которая даёт конкретную математику по распределению бюджета между предобучением и пост-тренингом. Для всех, кто планирует большие тренировки - очень полезно. Группа исследователей взяла шахматы как удобный тестовый полигон и прогнала много экспериментов, чтобы понять, как правильно делить вычислительные ресурсы между предобучением и RL. И вот, что получилось: 1. Чем сильнее претренированная модель, тем лучше она потом учится на RL и тем выше финальный результат. 2. При небольшом бюджете почти всё нужно отдавать претренингу. С ростом общего компюта доля RL должна увеличиваться, авторы показывают, как находить оптимальную точку. 3. RL не просто усиливает уже известные модели ходы: на сложных задачах он реально вытаскивает редкие правильные решения, которых почти не было на этапе SFT. Часть выводов подтвердили на языковой модели (OLMo 1B) на математике. GitHub