Верю — не верю: о границах применимости хемоинформационных моделей В реальном сценарии применения химиком модели ИИ практическое значение имеет не средняя ошибка модели по выборке, а ошибка конкретного предсказания, которое направляет экспериментальный путь исследователя или технолога. Именно для этого используют понятие «домен применимости»: он должен показывать, где ответу модели можно доверять, а где его лучше не использовать. Как очертить границы домена применимости? Сообщество, как правило, оценивает их по схожести предсказываемого соединения с соединениями, вошедшими в обучающую выборку. Это не является достаточным основанием: в рамках конкретной системы структурных признаков малое изменение структуры может драматически изменить свойство. Есть и другие подходы, но все они так или иначе основаны на близости входных параметров предсказываемого соединения и обучающей выборки. В новой работе мы сравнили такие способы определения домена применимости с подходами на основе неопределённости предсказания на массиве данных констант устойчивости комплексов металлов (88525 строк, 2503 пары металлов и 2187 лигандов). Ранговые корреляции Спирмена между критерием риска и абсолютной отложенной ошибкой составили +0,648 для оценки неопределённости, +0,250 для медианного евклидова расстояния в пространстве дескрипторов, +0,127 для медианного расстояния Махаланобиса и +0,102 для медианного расстояния по отпечаткам. Неопределённость упорядочивает ошибку заметно лучше структурных расстояний. Таким образом, мы получили методологически важный вывод: на изученной контекстно-зависимой задаче структурная близость сама по себе не является доказательством надёжности прогноза. Иными словами, домен применимости должен определяться не абстрактной близостью химических структур, а эмпирически проверенным поведением конкретной модели в конкретной задаче. Подробнее — в свежем препринте: Ivan Zlobin, Ivan Bespalov, Mark Schneider, Maksim Shandybo, Nikolai Rekut, Alexander Pavlov. Defining Applicability Domains for Metal–Ligand Selectivity Prediction: Predictive Uncertainty vs. Molecular Similarity.