Databricks тут выложил датасет и бенчмарк OfficeQA, типа "типичные офисные задачи". Я сначала порадовался, но потом посмотрел глубже. Пишут, что существующие бенчмарки (GDPval, ARC-AGI-2, Humanity's Last Exam) не отражают проблемы бизнеса. Они либо слишком абстрактные, либо требуют PhD-уровня знаний. OfficeQA фокусируется на том, что реально нужно корпорациям: извлечение и анализ данных из больших объемов документов. Поэтому сделали типа свой - 246 вопросов на основе 89,000 страниц. НО! Это US Treasury Bulletins (1939-1996), то есть всякие старые сканы кривых страниц статистики. Средний вопрос требует информации из ~2 документов Человек тратит в среднем 50 минут на вопрос Все вопросы решаемы школьной математикой, но требуют точности и внимательности. Короче, GPT-5.1 Agent вместе с их встроенным хранилищем и RAG оказался круче Opus 4.5 cо стандартным PDF-парсингом. И все, конечно же, проиграли их фирменному датабриксовскому решению по парсингу PDF (еще бы, это ж видимо и есть цель статьи). В общем, документы странные и наверное специально подобранные для их парсера, плюс нет гугла, плюс нет решений для парсинга PDF хороших, и опа - выиграло их собственное решение... Ну, такое... https://www.databricks.com/blog/introducing-officeqa-benchmark-end-to-end-grounded-reasoning