Про важность "хороших ракурсов" (как у JEPA) по сравнению с "плохими" (как у замаскированых токенов или предсказания следующего токена). При хороших ракурсах в обучении мелкая модель может обойти крупную. Proving and Improving the Platonic Representation Hypothesis with JEPAs Randall Balestriero, Yann LeCun Paper: https://arxiv.org/abs/2610.39302 Code: https://github.com/galilai-group/prh-proof Model: https://huggingface.co/spaces/galilai-group/prh_demo Review: https://arxiviq.substack.com/p/proving-and-improving-the-platonic ЧТО сделали: Доказали теорему о платоновских репрезентациях для архитектур JEPA (self-supervised моделей, сближающих позитивные пары без схлопывания эмбеддингов). Предложили JEPA с «хорошими ракурсами» — когда позитивные пары берутся из разных наблюдений одной сцены, а не из искажений одного и того же наблюдения («плохих ракурсов»). Также доказали, что авторегрессионное предсказание следующего токена математически устроено как JEPA с плохими ракурсами. ЧТО получили: На кросс-модальном бенчмарке WIT-1024 в паре с DINOv2 ViT-B текстовая JEPA на 109M параметров с хорошими ракурсами сравнивается по качеству с предсказанием следующего токена на том же корпусе, используя в 42 раза меньше обучающих примеров (mutual 10-NN: .109 на 21.6M примеров против .111 на 900M). При обучении на текстах к 940M веб-картинок модель достигает .184 по mutual 10-NN, обходя Qwen2.5-72B (.154), Llama-3-70B (.151) и текстовый энкодер CLIP (.124). ПОЧЕМУ это важно: Отдельные одномодальные энкодеры можно соединить одной ортонормированной проекцией для описания картинок (COCO CIDEr .838) или выровнять вообще без парных данных (64.4% против 47.6% у Qwen3-8B по top-5 точности на ImageNet-100). Однако выигрыш на веб-текстах опирается на ракурсы, сгруппированные по ID картинки и сгенерированные предобученной моделью описания изображений. Платон где-то там: https://t.me/gonzo_worlds/39