Воу-воу, новая codex-spark, на процессорах от Cerebras со скоростью до 1000 токенов в секунду! Маленькая супер-быстрая модель для понятных задач. Контекст пока 128к токенов. Пока готовили Spark, OpenAI переписали инфраструктуру инференса: - Overhead на каждый запрос снижен на 80% - Задержка per-token – на 30% - Время до первого токена – на 50% - Ввели постоянное WebSocket-соединение вместо обычных запросов Эти улучшения скоро раскатают на все модели, не только Spark. Spark работает на Wafer Scale Engine 3 – специальном чипе для сверхбыстрого инференса. GPU остаются основой для обучения и массового инференса, а Cerebras добавляет отдельную полосу для задач, где критична задержка. Пока research preview только для ChatGPT Pro за 200 баксов. Отдельный rate limit, не считается в основной. Скоро расширят доступ + появится в API для партнёров. OpenAI планирует гибридный режим – Codex будет сам решать, когда работать в интерактивном режиме с Spark, а когда делегировать тяжёлые задачи топовой модели. Или запускать кучу моделей параллельно, когда нужна и скорость, и глубина. По сути, скорость ответа становится новым узким местом. Модели уже достаточно умные – теперь вопрос в том, как быстро они отвечают. Но скорость в 1000 токенов в секунду вместо 30 - это прям огнище. Вот смотрите видос: https://openai.com/index/introducing-gpt-5-3-codex-spark/?video=1164182488 Представьте, как разработчики OpenAI внутри это используют 🙈 https://openai.com/index/introducing-gpt-5-3-codex-spark/