Учить студентов воспроизводить результаты научных статей - абсолютно правильная идея. Более того, удивительно, что такие курсы не стали обязательной частью ML-образования много лет назад. Посмотрел новый подкаст, где руководитель ШАДа Яндекса обсуждает программу: Воспроизведение экспериментов из лучших современных статей. В ней могут поучаствовать студенты из любых ВУЗов. Вместе с менторами они в течение двух недель пытаются повторить результаты опубликованных исследований. И обнаруживают, что далеко не всегда это получается. Проблема, на самом деле, фундаментальная. Ещё в 2019 году вышла замечательная статья Are We Really Making Much Progress?, авторы которой исследовали прогресс в рекомендательных системах. Оказалось, что многие опубликованные результаты трудно воспроизвести, а некоторые современные нейросетевые подходы проигрывают гораздо более простым, но правильно настроенным алгоритмам. Сейчас мы наблюдаем похожую историю с LLM. Новая модель выходит, разрывает существующие бенчмарки, объявляется очередным прорывом. Проходит несколько месяцев, появляются новые бенчи - и расстановка сил существенно (и каждый раз неожиданно!) меняется. Игорь как раз выступал на Higgsfield Data Day с докладом. Похожие оценки - разные истории, как раз на близкую тему, о бенчмарках и интерпретации результатов. Я в рамках собственного курса постоянно повторяю одну мысль: если ты умеешь измерять, изменять и откатываться обратно, ты можешь построить монотонно улучшаемую систему. Результаты измерений должны быть воспроизводимыми. Иначе ты просто не знаешь, действительно ли твоя система стала лучше или тебе повезло с экспериментом. И это касается далеко не только научных публикаций. Это один из краеугольных камней проектирования любых ML-систем: корректные метрики, честные бейзлайны, воспроизводимые эксперименты и возможность проверить каждое улучшение. Воспроизводимости нужно учить студентов с самого начала. Причём не как отдельной академической дисциплине, а как фундаментальному инженерному навыку. Самое интересное, что идея кажется совершенно очевидной. Но это как раз тот случай, когда смотришь на чужое решение и думаешь: почему мы сами не сделали этого десять лет назад?