НИИ ИИ

@ai_rostov · ai · Russian · active

Subscribers 4.4K Subscribers, last 30 days: 4.3K → 4.4K +40 24h
Reach per post (ERR) 23.0%1K avg views
Posting 10.6/day last 8 hours ago
Reactions per 1K views 3.1 ⭐

Jalapeño: как устроен первый чип OpenAI для языковых моделей OpenAI показала первые измерения Jalapeño — чипа для инференса, то есть запуска обученных языковых моделей. Его центральная идея: тратить меньше времени и энергии на перемещение данных между вычислительными блоками, памятью и соседними чипами. Две фазы ответа нагружают железо по-разному Сначала модель обрабатывает весь промпт. Эта фаза называется prefill и требует много вычислений. Затем начинается decode: модель выдаёт токены один за другим, и узким местом становится пропускная способность памяти. Jalapeño проектировали под обе фазы. Он меняет сочетание вычислений, памяти и сети по ходу запроса. Для агентов это ценно: задержка на каждом последовательном шаге складывается. Главная ставка — держать состояние модели рядом Архитектура позволяет явно размещать состояние модели, включая KV-кеш — память о ранее обработанных токенах, и сохранять его локально. Сеть встроена в чиповую систему, а крупный связанный вычислительный домен сокращает ненужные передачи данных. Программная модель построена на локальных тензорах, явном обмене данными и предсказуемой синхронизации. ИИ оптимизирует размещение, расписание и распределение вычислений. Codex с GPT-Astra помог за два месяца адаптировать три открытые модели, которых не было в исходном плане чипа. OpenAI разработала архитектуру и софт. Broadcom отвечала за реализацию кремния и сеть, Celestica — за платы, стойки и системную интеграцию. До передачи дизайна в производство команда дошла за девять месяцев. Подробнее об устройстве платформы. В тесте InferenceX чип проверили на GPT-OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T. По данным OpenAI, Jalapeño обеспечил в 1,5–1,9 раза больше работы на ватт и в 1,7–3,6 раза меньшую сквозную задержку, чем системы на NVIDIA GB200 и GB300. При номинале 700 Вт устойчивое потребление не превышало 550 Вт. Методика и результаты OpenAI. Это данные самой OpenAI, нормализованные по заявленной мощности ускорителей. Независимого воспроизведения в публикации нет. Компания не раскрыла техпроцесс, число транзисторов и ядер, объём и пропускную способность памяти. Полной аппаратной схемы пока нет. Развёртывание планируется начать до конца 2026 года. Второе поколение уже в разработке, третье формируется. NVIDIA останется частью вычислительного парка OpenAI. pimenov.ai/blog

Views over time

020040060025 Aug 20:5012 Nov 01:1055325 Aug 20:50: 0 views12 Nov 01:10: 553 views
Snapshots we took after posting.
WhenViews
25 Aug 2026, 20:500
12 Nov 2026, 01:10553

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.