Много хайпа было по поводу того, что польский и русский лучше для промптов, чем английский, из-за вот этого исследования - https://arxiv.org/abs/2503.01996, но сомнения были, что там как-то не то исследовали и выводы такие точно рановато делать. И вот прочитал-таки пейпер. В общем, и правда не все так однозначно :) Итак, исследователи из Мэрилендского университета, Microsoft и UMass Amherst создали OneRuler - бенчмарк для оценки способности языковых моделей работать с длинными контекстами на 26 языках. По сути это вариации поиска иголки в стоге сена (в большой текст закидывается ключевое слово и потом просят LLM его найти) и агрегации (найти самое частотное слово) для контекста в 8-32-64-128К токенов на разных языках. Итого получилось, что польские промпты для польских текстов дали самые лучшие результаты (89%). Русский язык для русских текстов оказался на 2 месте (88%). Далее Французский — 87% Итальянский — 86% Испанский — 86% Английский — 83.9% Основные гипотезы, почему так распределилось: хорошие токенизаторы для этих языков, много данных на них в обучающих корпусах, Gemini 1.5 Flash показал лучшие результаты Qwen 2.5 72B на втором месте o3-mini-high неожиданно плохо справился с длинными контекстами (67% на английском при 128K) Но никто не тестировал русские промпты на английских текстах и наоборот. Проверяли только английский, корейский и польский (инструкции<->тексты). Табличка в аттаче. Польские промпты на английских источниках ХУЖЕ. Английские промпты на корейских источниках лучше, чем корейские и лучше, чем "победитель" - польский язык. Что опять же дезавуирует фразу, что "польский и русский - лучшие языки для промптинга". Плюс опять же - задача была не творческая, а чисто поиск 1 слова на тысяче страниц.