Изучена возможность больших языковых моделей оценивать растворимость молекул Ученые Института общей и неорганической химии им. Н.С. Курнакова РАН разработали SoluBench — бенчмарк для проверки способности больших языковых моделей решать практические задачи, связанные с растворимостью органических соединений. SoluBench включает 9806 вопросов четырех типов, составленных на основе экспериментальных данных BigSolDB 2.0 и MixtureSolDB. Моделям предлагалось определить, в каком из двух растворителей вещество растворяется лучше; выбрать лучший растворитель из нескольких; предсказать, как добавление второго растворителя повлияет на растворимость; а также сравнить растворимость двух разных соединений в одном растворителе. При этом вопросы были составлены так, чтобы снизить вероятность простого воспроизведения запомненных данных. С помощью SoluBench были протестированы более 20 открытых и проприетарных языковых моделей. Данные SoluBench и программный код опубликованы в открытом доступе и могут использоваться другими исследовательскими группами для тестирования и развития ИИ-моделей для химии. Доступ к данным: https://huggingface.co/datasets/levakrasnov/SoluBench Код: https://github.com/levakrasnovs/SoluBench Результаты работы опубликованы в «Journal of Chemical Information and Modeling» и позволяют сравнивать новые поколения языковых моделей, а также отслеживать, насколько улучшается их способность работать с химическими задачами. Lev Krasnov, Sergei V. Tatarin, and Stanislav I. Bezzubov; Can LLMs Solve Solubility Tasks? The SoluBench Benchmark for Pure and Mixed Solvent Systems. Journal of Chemical Information and Modeling, 2026. https://pubs.acs.org/doi/10.1021/acs.jcim.6c00677 Пресс-релиз опубликован на сайтах Поиск, Индикатор, Mendeleev.info, Химическое информационное агентство, Дзен, Микроблог Минобрнауки России #российскаянаука #ионх