Железо дорожает, но ИИ становится дешевле. Как так? Глянул интервью гендира Yandex Cloud Григория Атрепьева Ведомостям. Вообще, там на редкость "мясной" контент про агентов, ИИ-кибербез, что делать с сотрудниками и немного про планы самого Яндекса в ИИ. Но я хочу остановиться на конкретном моменте про ИИ-вычисления, важным для всей ИИ-индустрии. Смотрите, сейчас в ИИ-вычислениях происходит довольно странная штука: 1. Железо очевидно дорожает. Серверы за год улетели в 2–5 раз, адски подорожала память и всё остальное. 2. Но токены (то есть, сколько результата модель на конкретном железе делает юзеру за Х времени) при этом дешевеют. Атрепьев приводит цифры самого Яндекса: у них выручка на тот же объём токенов упала за год в 6 раз, а по классу "лёгких" Flash-моделей цена снизилась почти в 14 раз. Это, вообще говоря, парадокс. Обычно, если сырьё дорожает, то продукт тоже дорожает. А тут наоборот. Давайте разберёмся - почему так (здесь ключевое из статьи дополню своими мыслями). Смотрите, себестоимость токена для провайдера (для OpenAI, Anthropic или того же Яндекса) считается так: 🤩 Числитель = стоимость часа работы одной GPU. Сколько стоит, чтобы одна видеокарта крутилась один час, включая её амортизацию, обслуживание, инженеров, электричество и всё-всё-всё. 🤩 Знаменатель = число токенов, которые она за этот час обработала. Так вот, числитель вырос примерно в 2-5 раз, но знаменатель - гораздо сильнее. Причин несколько, и они работают вместе и усиливают друг друга: 1. Модели стали дешевле в исполнении при сопоставимом качестве. ИИ-компании выкатывают Flash-версии, и это не "урезанные модели-обрубки", как многие думают, а иначе спроектированные. Например, с применением MoE (Mix of Experts), где на разные токены бросается не вся модель, а нужный кусок. 2. Рост входящих токенов. Токены бывают разные. Есть входные (промпты, документы), где модель берёт весь текст и обрабатывает всё разом, параллельно. А есть выходные, которая модель выдаёт. Их нужно генерить по одному, перечитывая все веса из памяти на каждое новое слово (ну, если грубо). Так вот, входящие токены сильно дешевле, и их доля сильно выросла. Я думаю, это потому что юзеры привыкли кидать в модель не чёткий промпт или хотя бы структурированный запрос, а всё подряд - кучу несвязного текста огромными кусками, пдф-доки и т.д. И если считать с т.з. расхода токенов - это дешевле. У Яндекса соотношение 4:1 в пользу дешёвых. 3. Кэш. Если у тысячи запросов одинаковое начало (системный промпт, история чата и т.д.), то модели достаточно переварить один раз, а дальше брать куски из готового. Провайдеру это сильно дешевле. В том же DeepSeek V4 Flash кэшированных запросов около 70% токенов - то есть, агент 7 из 10 шагов шлёт почти одно и то же. И доля кэшированных запросов растёт. Почему - не буду углубляться, иначе свалимся в дебри, но если кратко, то тут и рост агентных цепочек, и более многоходовые чаты, и популярность системных промптов (например, в корп поддержке), и много что ещё. 4. Наконец, сама инженерия инференса: батчинг (прогнать через одни веса не одного юзера, а сразу кучу), квантизация, более продвинутое декодирование и т.д. Прикол в том, что всё это работает на большом потоке (нет одновременных запросов - нечего объединять). А поток, как вы понимаете, растёт. Теперь главное - что это меняет, и что делать. У провайдеров выручка отвязалась от объёма: теперь чтобы стоять на месте - надо расти по токенам в 5-6 раз в год. Ещё, им придётся сильнее гнаться за плотностью, отсюда и амбиции занять "половину рынка" (тренд на укрупнение), и буст агентов в мессенджерах (= генераторы потока), и активная работа с партнёрами, которые приводят доп нагрузку. А для клиента ограничение теперь сидит не в цене, а в умении хорошо внедрять и наращивать полезное потребление. Потому что агенты, которые жгут на порядок больше, наконец начинают окупаться на дешевеющих токенах. Ну и главное узкое место индустрии - это теперь окончательно память, а не сами вычисления. Короче, пока эксперты ванговали дефицит ИИ-мощностей - в реальности дефицитом стало умение нормально крутить ИИшку и жечь дешевеющие токены. Дизраптор
Дизраптор
Subscribers
72.9K
+100 24h
Reach per post (ERR)
18.2%13.2K avg views
Posting
2.3/day
last 1 day ago
Reactions per 1K views
16.0
😁 👍 ❤
Views over time
| When | Views |
|---|---|
| 22 Sep 2026, 15:31 | 0 |
| 11 Nov 2026, 11:01 | 11.9K |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
Nobody yet.