Пока внедренцы ИИ рассказывают всем про то, что "галлюцинации" ИИ - это не баг, а фича, создатели ИИ ищут способы "мехницизировать" ИИ для того, чтобы управлять его работой и иметь понимание того, как ИИ будет решать ту или иную задачу. https://www.technologyreview.com/2025/11/13/1127914/openais-new-llm-exposes-the-secrets-of-how-ai-really-works/ Компания OpenAI, создавшая ChatGPT, разработала экспериментальную большую языковую модель, которая гораздо проще для понимания, чем обычные модели. ... «По мере того как эти системы искусственного интеллекта будут становиться всё более мощными, они будут всё больше интегрироваться в очень важные сферы, — сказал Лео Гао, научный сотрудник OpenAI, в эксклюзивном интервью MIT Technology Review о новой работе. — Очень важно убедиться, что они безопасны». Это интересное исследование, говорит Элисенда Григсби, математик из Бостонского колледжа, которая изучает принципы работы больших языковых моделей и не участвовала в проекте: «Я уверена, что предложенные методы окажут значительное влияние». Ли Шарки, научный сотрудник стартапа в области искусственного интеллекта Goodfire, согласен с этим. «Эта работа направлена на достижение правильной цели и, похоже, хорошо выполнена», — говорит он. ... Работа OpenAI является частью нового перспективного направления исследований, известного как механистическая интерпретируемость. Его цель — составить карту внутренних механизмов, которые модели используют при выполнении различных задач. ... Вместо того чтобы создавать модель с использованием плотной сети, OpenAI начала с типа нейронной сети, известного как разреженный по весам трансформер, в котором каждый нейрон связан лишь с несколькими другими нейронами. Это позволило модели представлять функции в виде локализованных кластеров, а не распределять их. Их модель работает намного медленнее, чем любая другая языковая модель на рынке. Но её нейроны или группы нейронов легче соотнести с конкретными понятиями и функциями. «Разница в интерпретируемости модели действительно огромна», — говорит Гао. Гао и его коллеги протестировали новую модель на очень простых задачах. Например, они попросили её дополнить блок текста, начинающийся с кавычек, соответствующими знаками в конце. Это тривиальный запрос для LLM. Дело в том, что выяснение того, как модель выполняет даже такую простую задачу, как эта, требует распутывания сложного клубка нейронов и связей, говорит Гао. Но с новой моделью они смогли точно следовать шагам, которые предпринимала модель. «На самом деле мы нашли схему, которая представляет собой именно тот алгоритм, который вы могли бы реализовать вручную, но модель полностью его освоила, — говорит он. — Я думаю, это действительно круто и захватывающе». ... В OpenAI считают, что смогут усовершенствовать этот метод и создать прозрачную модель, не уступающую GPT-3, прорывной языковой модели 2021 года. #ИИ #наука