Progresspunks

Вспоминается недавний отчет Chamath про open vs. closed AI в связи с тем, что Amodei все же отпиздил Jensen Huang, главного выгодоприобретателя open-weights вместо подписок от лаб: 1. Открывают только веса, а не триллионы слов datasets или методы обучения. Open-weights отстают от фронтира всего на 4 мес (а 2 года назад разрыв был 12 мес) - все дело в дистилляции - Лабы продают свои токены поштучно, бигтехи продают облака и их moats лежат во всем остальном, а DeepSeek, Qwen, GLM конкурируют ценой. Некоторые страны хотят себе суверенные модели (сложно, последний Grok стоило натренить $500 млн, в 2027 ожидают, что $1 млрд может стоить топ-модель и много месяцев надо) - Клиентам важны не только IQ, скорость и цена, но и приватность (не отгружать никуда свои данные) - Meta со времен Llama пивотирует туда-сюда, ищет себя 2. Фирмы открывают layers на которых сами не зарабатывают (e.g. Google, Msft продают облака, а Meta рекламу, а Nvidia продают чисто чипы). Nvidia аж купила HuggingFace в сентябре за $12 млрд - Китайцы с 2025г (DeepSeek) хотят стать layer на котором все билдят (из Qwen сделали 150 тыс прочих моделек), но одновременно и стали ужесточать лицензии (пока - на коммерческое применение) - На HuggingFace 3 млн моделей, но половина скачиваний - всего 200 моделей. Из них 40% - китайцы (ну как Kai-Fu Lee и говорил) - Еще оч важная value у open-weights - люди могут сами делать fine-tuning под свои узкие data (госпитали, банки, юристы итп) всего за 1% затрат - Стратегия open-wights была - захватить рынок и приучить всех (а-ля OS Android), ценой раздалбывания цен фронтирных лаб (пусть у фронтирных лаб инференс и стал сходиться по валовой марже в этом году) 3. 75% токенов делаются на open-wights моделях, но кто аккумулирует ваши промпты и исправления, те и рулят. e.g. Cursor или Meta (пока дисконт дают 95% чтобы трениться на ваших данных) - Anthropic процессят 6+ трлн токенов в неделю, Google 4 трлн, OpenAI 3 трлн. Open-weights >20 трлн - Доля общего compute фронтир лаб которая идет на training - остается 60% уже пару лет (тк pre-train упал c 67% до 7%, но post-training (это reinforcement learning) вырос с 4% до 55%) (чет отдача от масштаба херово тут просматривается, не? )) - Open-weights инференс может стоить чуть ни в 15-100 раз дешевле, чем продают топ-модели фронтир-лабы - Сложные задачи стало рационально проектировать умными топ-моделями, а решать/верифицировать получающиеся куски работы чиповыми модельками - В целом value конечно у тех, у кого или чипы (помимо Nvidia свои клепает Google) или у кого конечные юзеры. Layer моделей же, в принципе, по своей экономике уничтожен.. - Юзеры дают свой context, это и есть ваш moat - Выручка всех китайцев пока 1/10 от выручки фронтир-лаб ($100 млрд за 9 мес 2026), бизнес-модель +/- такая же. А еще дают юзать on-premises - 80% клиентов по API покупают сразу 3+ модели, оптимизируют в зависимости от сложности тасков - В целом, за $38 тыс можно купить 4 Mac Studio с 2TB памяти и запустить фронтирную Kimi K2 или K3 на 3 трлн параметров. Все абсолютно приватно. Или гибридные облака дают тоже privacy 4. Модели становятся вопросами нац.безопасности (e.g. Mythos дали лишь 200 фирмам). Китай в какой-то момент может закрыть модели или ввести ограничения если будет достигнут определенный threshold capabilities - У Китая unlimited электричества, в отл. от (замороченных) США. Чипы Китая пока отстают на пол-порядка по скорости - Китай, похоже, опенсорсит модели повторяя свой playbook по EV и солнечным панелям: стратегия global lock-in. Ну и дефицит своих чипов для инференса тоже подтолкнул к этому.. - Отозвать веса уже выпущенных моделей нельзя.. Схватка между апологетами опен-сорса (Nvidia, Google итп) и нет (Anthropic, считают, что это а-ля ядерное оружие) еще только разгорается - И новое поле битвы: post-training + harness ** Ограничения, естесна, только помогут Китаю: у них же и расцвели многоголовые Deepseek, ультра-агрессивная дистилляция чужих архиваторов LLM итд итп. "Нищета - мама креативности" )