«Да лан, чё мелочиться?» — подумали в Epoch.AI и вместо FrontierMath Tier 5 выпустили FrontierMath OpenProblems. Как следует из названия, моделям здесь предстоит решить открытые задачи из области исследовательской математики, которые профессиональные математики пытались решить, но не смогли. Для облегчения оценки включили только те задачи, для которых предложенные решения могут быть проверены автоматически (что заведомо ограничивает набор). Всего сейчас 14 задач, но открыта форма для заявок на добавление, и, надеюсь, она не пройдет мимо математиков. Задачи охватывают широкий спектр математических дисциплин. Пилотный набор задач имеет уклон в сторону комбинаторики и теории чисел, где больше всего задач, поддающихся автоматической проверке. Математиков, предоставивших задачи, опросили оценить, сколько математиков работали над проблемой и сколько времени, по их прикидкам, потребуется для решения людьми. Эти данные вы можете найти на картинке — есть задачи, которые оценили в 3-10 лет 😅 Удачи OpenAI, Google и другим компаниям. Ждём прорывов — сейчас модели не решают ни одну из задач.