Цифровой геноцид

Гипотеза платоновской репрезентации The Platonic Representation Hypothesis https://arxiv.org/pdf/2405.07987 Нейронные сети, обучаемые с разными целевыми функциями на разных данных имодальностях, сходятся в своих пространствах представлений к общей статистической модели реальности. Что привело к этой сходимости? Продолжится ли она? И, в конечном счёте, чем она завершится? Наша центральная гипотеза, изложенная выше на рисунке , состоит в том, что у этой сходимости действительно есть конечная точка и принцип, который её движет: все различные модели пытаются прийти к представлению реальности, то есть к представлению совместного распределения событий в мире, которые порождают наблюдаемые нами данные. Рисунок 1 передаёт эту гипотезу: существует реальный мир (обозначенный Z), который мы измеряем с помощью различных датчиков, таких как показанная слева камера (X). Другие проекции этих измерений, например приведённое текстовое описание, могут быть получены из первого набора измерений либо опосредованы каким-то иным набором измерений — скажем, осязанием или другими ракурсами камеры (пунктирная стрелка от X к Y). Алгоритмы обучения представлений находят векторные вложения, которые статистически моделируют различные измерения и проекции. Все получаемые векторные вложения выводятся из лежащей в основе реальности Z и благодаря этому становятся согласованными. По мере того как модели обучаются на большем количестве данных и для большего числа задач, им требуются представления, схватывающие всё больше информации о Z, и потому согласованность с Z возрастает, приближаясь к точке сходимости как функция масштаба. Это гипотетическое представление, к которому происходит сходимость, мы называем «платоновским представлением» — в отсылке к платоновскому мифу о пещере (Платон, ок. 375 г. до н. э.) и его идее об идеальной реальности, лежащей в основе наших ощущений. Обучающие данные для наших алгоритмов — это тени на стене пещеры, однако, согласно нашей гипотезе, модели восстанавливают всё более точные представления о подлинном мире за пределами пещеры. Эта идея принадлежит не одному лишь Платону; наша гипотеза связана также с понятием «конвергентного реализма» в философии науки (то есть с представлением о том, что наука сходится к истине) и со многими доводами, выдвигавшимися в литературе по обучению представлений . Тесно связан с нашей гипотезой и «сценарий Анны Карениной», описанный Bansal et al. и указывающий на возможность того, что все хорошо работающие нейронные сети представляют мир одинаковым образом. Гипотеза платоновского представления относится к ситуации, когда мы находимся в сценарии Анны Карениной, а «счастливое представление», к которому происходит сходимость, отражает статистическую модель лежащей в основе реальности Мы ограничиваем рассмотрение представлениями, являющимися векторными вложениями. Такое представление мы описываем через порождаемую им структуру сходства, называемую его ядром. Ядра широко применяются для оценки представлений ; это оправдано тем, что они фиксируют относительные структуры между образцами данных, которые к тому же служат обучающим сигналом для многих алгоритмов машинного обучения. Следуя предшествующей литературе, мы определяем выравнивание представлений как меру сходства структур сходства, порождаемых двумя представлениями, то есть как метрику сходства на ядрах Разные модели с разными архитектурами и целевыми функциями могут иметь выровненные представления Одним из свидетельств конвергенции представлений служит растущее число систем, построенных на основе предобученных базовых моделей. Эти модели становятся стандартными «хребтами» для всё более широкого спектра задач. Их универсальность в многочисленных приложениях указывает на определённую всеобщность способа, которым они представляют данные. Хотя эта тенденция подразумевает сходимость к относительно небольшому набору базовых моделей, из неё не следует, что разные базовые модели придут к одному и тому же представлению. Тем не менее именно это наблюдается в ряде недавних работ. Lenc & Vedaldi (2015) провели одно из таких исследований, в котором и оцениваем их качество на последующих задачах из бенчмарка Visual Task Adaptation Benchmark (VTAB; Zhai et al. (2019)). Согласованность растёт с масштабом и качеством Kornblith et al. (2019) и Roeder et al. (2021) заметили, что согласованность моделей не просто существует, но и растёт с увеличением масштаба модели и размера набора данных Сходятся ли также модели, обученные на разных модальностях данных? Несколько работ указывают, что ответ — да. Merullo et al. (2022) распространили метод сшивания моделей на кросс-модальный случай и обнаружили, что одной линейной проекции достаточно, чтобы сшить зрительную модель с языковой моделью (LLM) и добиться хороших результатов в задачах визуального вопросно-ответного взаимодействия и генерации подписей к изображениям. Koh et al. (2023) показали, что линейное сшивание работает и в обратном направлении — при согласовании текстовых входов с визуальными выходами. Более того, многие современные языко-зрительные модели сшивают предобученные языковые и зрительные модели друг с другом. Например, LLaVA (Liu et al., 2023) продемонстрировала результаты уровня state-of-the-art, проецируя визуальные признаки в языковую модель с помощью двухслойного перцептрона (MLP) Почему так происходит. Авторы называют три давления: Универсальность задач. Чем больше задач должна решать модель, тем меньше представлений справляются со всеми сразу. Ёмкость модели. Большие модели с большей вероятностью находят общий оптимум, а маленькие застревают в разных приближениях к нему. Склонность к простоте. Глубокие сети предпочитают простые решения, и это дополнительно сужает круг возможных вариантов.