Как оценить скорость развития ИИ? Можно прибегнуть к разным способам: например, следить за бенчмарками или просто активно пользоваться нейросетями и наблюдать за тем, как они решают все более сложные задачи (к слову, так выглядела генерация видео всего 7 лет назад). Еще один вариант — посмотреть на научные исследования, которые были опубликованы год-полтора назад, и проверить, насколько выводы из них остаются актуальными. Спойлер — не очень 🔭 Здесь собрали 50 широко цитируемых выводов из исследований о ЛЛМках и решили перепроверить на 20 разных современных моделях. О многих из этих выводах вы точно слышали (наподобие «ну тупые ллмки придумывают ссылки/не могут посчитать буквы в слове стробери» и прочих реликтов прошлого). В итоге 44% выводов из исследований практически потеряли актуальность, а ещё 34% заметно ослабли. Однако некоторые паттерны поведения вроде склонности соглашаться с пользователем/предпочитать собственные ответы при оценке (self-preference bias) до сих пор сохраняются.