На конференцию по машинному обучению NeurIPS прислали больше сотни статей с выдуманными библиографическими источниками. Их не смогли отловить даже несколько рецензентов на статью. Об этом рассказывает команда GPTZero, которая проверила 4841 принятый доклад. Для контекста, NeurIPS — одна из старейших и крупнейших конференций, посвященных машинному обучению и вычислительной нейробиологии в мире. Существует она аж с 1987 года. И вот на прошлом съезде из почти пяти тысяч статей более ста использовали ссылки на несуществующие источники, так называемые «галлюцинации». Лидером по ним стал Университет Нью-Йорка, а в списке засветились такие гиганты как Принстон, Кембридж, Оксфорд, Университет Джона Хопкинса, MIT и Google. Называют в GPTZero всё это «vibe citing» — ссылки, явно сгенерированные ИИ на основе «похожих» реальных источников: смешение названий и авторов нескольких работ, додумывание имён, изменение числа авторов, перефразирование заголовка и тп. При этом обычные человеческие ошибки (опечатки или неполные данные) к галлюцинациям не относят. Несложно предположить, что с таким цитированием и сами статьи хотя бы частично генерируют с помощью ИИ. В последние годы крупные конференции столкнулись с резким ростом числа заявок как раз таких генераций. Только у NeurIPS за последние пять лет количество заявок выросло больше, чем на 220% (с 9 467 до 21 575). Внутренние системы рецензирования с таким потоком просто не справляются, и, скорее всего, рецензенты внимательно библиографии не проверяют просто веря в академическую честность коллег. В итоге, статей выпускается больше, от исследователей требуют публиковаться ещё больше, количество генераций растёт. И по кругу. Раньше были мусорные журналы, а теперь вот так. В GPTZero предлагают собственный инструмент для проверки, отлавливающий явные галлюцинации и помечающий цитаты, которые стоит проверить вручную. И это, конечно, естественное развитие технологий, как тот же антиплагиат. Но это всё вопрос следствия, а не причины. А причина стара, как мир: всё то же агрессивное публикационное давление и серая академическая этика.