Кто умнее, быстрее и лучше врёт с уверенным видом? Ещё недавно искусственный интеллект представляли как некий единый электронный разум. Где-то в огромном компьютере сидит цифровой мудрец, знает почти всё на свете и терпеливо отвечает людям на вопросы. На практике всё оказалось гораздо веселее... Сегодня существует множество моделей искусственного интеллекта... Одни прекрасно пишут программы, другие работают с изображениями, третьи быстро перелопачивают длинные документы, четвёртые рассуждают медленно, зато обстоятельно. И все их разработчики время от времени объявляют: — Наша модель теперь самая умная! Через неделю конкуренты выкатывают обновление и отвечают: — Уже нет. Так начинается очередной сезон чемпионата мира среди нейросетей. На ринг выходят модели. Раунд первый: кто лучше отвечает на вопросы Современная языковая модель — это не энциклопедия с готовыми ответами и не электронный человек, спрятанный внутри сервера. Это сложная вычислительная система, обученная продолжать текст, распознавать связи между словами, изображениями, звуками, программным кодом и другими данными. Она получает запрос и шаг за шагом строит ответ. Условно говоря, модель постоянно решает задачу: какое продолжение здесь наиболее вероятно и уместно? Но за этой скромной формулировкой скрывается огромная работа. Чтобы написать несколько абзацев, система может учитывать смысл вопроса, предыдущие реплики, стиль пользователя, факты из подключённых источников и результаты промежуточных рассуждений. В нынешних соревнованиях участвуют целые семейства моделей: GPT, Claude, Gemini, Llama, Grok и множество открытых систем китайских, европейских и независимых разработчиков. Причём внутри одной семьи обычно имеется несколько «весовых категорий»: большая и дорогая модель, универсальная средняя и маленькая быстрая. Это примерно как автомобильный рынок. Есть представительский лимузин, семейный кроссовер и городской автомобиль, который легко припарковать, но везти на нём рояль через болото всё-таки не стоит. Самый очевидный способ сравнить модели — задать им одинаковые вопросы.