Vademecum Live

Пять LLM сдали тест программы подготовки докторов фармацевтических наук с точностью 89–91% Исследование, опубликованное в Scientific Reports, оценило точность пяти больших языковых моделей – ChatGPT-4.1, ChatGPT-4o-mini, Claude, Copilot и Gemini – на 227 экзаменационных вопросах по инфекционным болезням по программе подготовки докторов фармацевтических наук (Doctor of Pharmacy). Совокупная точность моделей составила от 89,4% до 91,2%: наивысший результат показала ChatGPT-4o-mini, а Claude и Copilot – наименьший. В выборку вошли 108 вопросов по терапевтическим дисциплинам, 45 – по медицинской химии, 40 – по клинической микробиологии, 25 – по фармакологии и 9 – по фармакокинетике и фармакодинамике; 212 вопросов были тестовыми с выбором ответа, 15 – с заполнением пропусков, а 13 – содержали изображение. Точность заметно различалась по темам. Наилучшие результаты модели показали по фармакологии (93,6%), затем по терапевтическим дисциплинам (93,0%) и фармакокинетике/фармакодинамике (91,1%). Существенно ниже оказалась точность по клинической микробиологии (87,5%) и медицинской химии (84,0%); различия по сравнению с терапевтическими вопросами были статистически значимы. Авторы связывают это со сложностями моделей при работе с химическими структурами и номенклатурой, а также с меньшей представленностью специализированной микробиологической информации в обучающих данных. Подписывайтесь на наши каналы: в MAX – Vademecum и Vademecum Live