Искусственный интеллект и псевдонаука Учёные решили проверить, насколько LLM устойчивы к псевдонауке. Оказалось, совсем не устойчивы. Им на вход давали выдержки из псевдонаучных статей, но так, чтобы не сразу было понятно, что за статья, и просили построить дальнейшую программу исследований или посчитать что-то дополнительно. В редких случаях LLM вообще отказывалась что-то делать, причём иногда немотивированно (как в случае со статьей Уэйкфилда про связь вакцин и аутизма) — видимо, срабатывали какие-то встроенные guardrails. Иногда модель предупреждала, что статья отозвана или содержит сомнительные утверждения, но выполняла указания. А в большинстве случаев — радостно, не моргнув глазом, делала то, что просят: хочешь биополя, хочешь холодный термояд или анти-ДНК из параллельной вселенной. Самая дичь, это когда на основе статьи Маккиарини LLM строила программу исследований, очень похожую на ту, которую и воплотил в жизнь сам Маккиарини, и которая привела к смерти ряда пациентов и тюремному сроку для доктора (если кто не знает, это такой хирург-нарцисс, который долго подделывал данные по пересадке искусственных трахей в Испании, Швеции и России, я когда-то переводил материал о нем). Причём сделала это LLM Mistral, которая позиционируется как автономная система для научных исследований. Рановато пока им доверять важные вопросы, а между тем за прошлый год вышло 8.5 млн статей, и бог весть сколько среди них как подложных, так и мусорных.