Мир близок к дефициту вычислительных мощностей для ИИ, если уже не наступил - Epoch AI Признаком уже наступающего дефицита является то, что Anthropic ввёл ограничения квот в часы пиковой нагрузки и предложил удвоенные лимиты в непиковое время. О том, как токен экономика стала бомбой замедленного действия и что с этим делать, мы подробнее пишем здесь. Исследователи из Epoch AI оценили глобальную инференс мощность и пришли к выводу, что спрос на токены растёт намного быстрее предложения. В качестве базовой модели они взяли Kimi K2.6 - мощную открытую модель по индексу ECI на сегодня и смоделировали, сколько токенов в секунду могут генерировать все существующие чипы Nvidia Blackwell (GB200 + GB300) в мире. По расчётам, все чипы Blackwell в мире способны генерить от 500 млн до 20 млрд токенов в секунду в зависимости от длины контекста запросов. Глобальная инференс-мощность при этом более чем утраивается каждый год. Длина контекста имеет большое значение, так как чем длиннее контекст, тем меньше токенов в секунду можно выдать с тех же чипов. Google недавно заявил, что обрабатывает 1,2 млрд токенов в секунду по всем своим платформам. А Exponential View оценивает суммарные токены по всем провайдерам в 40 квадриллионов в квартал, то есть ~5 млрд токенов в секунду. У Apple некоторым инженерам разрешено тратить до $300 в токенах в день; у Meta(запрещена в РФ) 85 000 сотрудников потратили 60 триллионов токенов за месяц. Если эти тренды сохранятся, дефицит мощностей вероятен в ближайшее время, что приведёт к росту цен на доступ к фронтир моделям для тех, кто готов платить, а рядовые пользователи будут переходить на более дешёвые и компактные модели.