#DeepSeek раскрыл рецепт как построил одну из самых эффективных и дешевых инфраструктур для работы ИИ в мире Сегодня команда #DeepSeek открыла исходный код DeepInfer - движка, на котором работают их собственные сервисы. А еще они показывают цифры, которые почти не публикуют ни OpenAI, ни Anthropic, ни Google. Так мы узнали, что 1 кластер #DeepSeek обрабатывает 155 триллионов токенов в день, а выручка около $38 на карту в час по льготному тарифу. Причем их главный экономический рычаг - это кэш, а не чипы. В своем отчете они пишут, что пропускная способность на карту без учёта попаданий в кэш 60 тысяч токенов в секунду, а с учётом попаданий - 1,5 миллиона. Разница в 25 раз. А средний процент попаданий 96%. То есть реальная стоимость инференса сегодня определяется тем, насколько хорошо вы умеете работать с кэшем. _______ Источник | #blockchainRF 🐳 DeepSeek выложили в открытый доступ свой движок DeepInfer (https://x.com/deepseek_ai/status/2112476496283775135) — тот самый, на котором в продакшене крутится V4.1 Flash. Простыми словами: веса модели открыты давно, но быстро и дёшево запускать её умела только сама DeepSeek, а теперь сможет любой провайдер. Работает на NVIDIA и китайских Huawei Ascend, что заметно бьёт по монополии NVIDIA Самое громкое — цифры, которые всплыли вместе с релизом: 155 трлн токенов в день на одном кластере и $38 выручки с одной видеокарты в час, при аренде H100 около $3. На Hacker News уже спорят, что это значит для американских лабораторий с их триллионными оценками P.S. Пока Anthropic и OpenAI продают подписки, DeepSeek раздаёт и модель, и движок, и всё равно зарабатывает. Похоже, «ИИ работает в убыток» — не про всех https://github.com/deepseek-ai/DeepInfer _______ Источник | #Futuris @F_S_C_P ------- Поддержи канал подпиской -------