📄️️️️️️ 109 млн параметров против 72 млрд: Лекун показал силу другого способа обучения ИИ Ян Лекун и Рэндалл Балестриеро доказали платоническую гипотезу представлений для архитектур JEPA при определённых условиях. Идея такая: модели, обученные на разных типах данных, могут сформировать похожие внутренние представления о мире. Одна читает тексты, другая рассматривает изображения, но обе обнаруживают сходные закономерности. В работе две модели обучаются независимо: визуальная - на разных снимках одной сцены, текстовая - на разных описаниях. Пары «изображение + текст» для обучения самих моделей не нужны. Полученные представления совпадают с точностью до поворота пространства признаков. Проще говоря, модели строят совместимые «карты», используя разные системы координат. В экспериментах авторов: - Для одинакового уровня согласования текста и изображений потребовалось в 42 раза меньше обучающих примеров, чем при предсказании следующего токена. - Текстовая JEPA со 109 млн параметров превзошла все проверенные языковые модели размером до 72 млрд параметров по согласованию с визуальными моделями. alphaxiv.org/abs/2610.39302