Новый способ проверки диагностических медицинских моделей В традиционных методах проверки модель выбирает диагноз из заданного списка. Исследователи Института AIRI и НМИЦ им. В. А. Алмазова предложили проверять, как нейросети формулируют диагнозы в свободной форме. При этом авторы нового подхода сравнивают ответ нейросети с мнением группы специалистов. Метод проверили на 360 медицинских диалогах врачей с пациентами и восьми языковых моделях. Для корректности сопоставления диагнозов исследователи собрали набор данных из 1500 пар диагнозов с разметкой от врачей — алгоритм работает с точностью 98%. Лучшие результаты среди протестированных моделей показали GigaChat, DeepSeek и GPT-4o — они оказались на 13-16% ближе к ответам врачей, чем даже сами врачи друг к другу. Учёные продолжат развивать эту методику — например, постараются решить вопрос весов диагнозов, предлагаемых моделью. Уже сейчас её можно использовать как бенчмарк для новых медицинских ИИ-систем. Nature. Scientific reports | HuggingFace | Российская газета