Сиолошная

Красота! https://fixupx.com/sama/status/2037610000122839116?s=20 На этой неделе на нашем объекте Stargate в Мичигане силами компаний Oracle и Related Digital были установлены первые стальные балки.

Про будущую модель от OpenAI мы уже узнали — это Spud, которая недавно закончила тренировку. А вот сегодня ночью FT написали о том, что они нашли незакрытые материалы на сайте Anthropic, в которых говорится о превью их будущей модели — Claude Mythos. Mythos больше Opus по размеру, и существенно дороже в инференсе (😭 пока лимиты). Ну а больше в мире нейросетей — это лучше. На странице Mythos было написано, что модель «демонстрирует качественный скачок в навыках/возможностях». Antrhopic подтвердили, что Mythos уже тестируется узким кругом клиентов, а значит скорее всего скоро попадёт и нам. Интересно, как будет выглядеть прайсинг для неё: появятся ли планы за $2000/месяц? Или расчёт будет за токены по своему API-ключу? (скорее всего нет, потому что даже сейчас $200 подписка даёт использование на $3k-4k по ценам API, а более дорогая модель просто опустошит банковский счёт) Ждём big model smell от Spud* и Mythos уже этой весной, готовим новые вымышленные стены для пробития 😏 *: надеюсь, OpenAI последует тренду и тоже решит увеличить свою модель, а не топтаться на старом уровне.

Anthropic: слегка урезали лимиты в Claude Code из-за растущего спроса. Это касается только 5-часовые лимитов (и заденет примерно 7% самых активных пользователей) OpenAI: каждые 3 дня сбрасывают лимиты, даже просто из-за того, что подул ветер

Федеральный судья в Сан-Франциско вынесла предварительный судебный запрет в пользу Anthropic, приостановив действие решений администрации Трампа о включении компании в чёрный список Пентагона и запрете на использование моделей Claude федеральными агентствами. Судья Рита Лин квалифицировала действия правительства как «классическое незаконное преследование по Первой поправке» — формулировка, которая задаёт тон всему дальнейшему разбирательству. Судья Лин прямо назвала происходящее «оруэлловским» — и это не риторическая фигура, а сигнал о том, как суд оценивает правовую обоснованность позиции правительства. Это не окончательное решение — но обычно суды очень детально разбирают иск по сути, прежде чем выносить обеспечительное решение. https://www.cnbc.com/2026/03/26/anthropic-pentagon-dod-claude-court-ruling.html

Вчера и сегодня много разговоров про TurboQuant — алгоритм сжатия векторов от Google. В статье его применяют для сжатия KV-кэша в LLM (промежуточных состояний для контекста, на основе которых генерируется ответ). TLDR как работает метод в два шага: 1) Сначала алгоритм применяет к входному вектору случайное вращение. Это перемешивает информацию по всем измерениям, и если в векторе было аномально большое значение в одной координате), то при вращении оно равномерно «размазывается» по всем остальным осям, делая вектор гладким. Авторы математически доказывают, что в типичных для LLM многомерных пространствах значения координат после такого вращения по закону больших чисел сходятся к идеальному нормальному распределению. Зная эту предсказуемую колоколообразную форму заранее, авторы рассчитывают оптимальную шкалу округления, решая задачу одномерной кластеризации через k-means. То есть они заранее вычисляют границы, расставляя их плотнее в центре распределения (где значений больше всего) и реже по краям, чтобы минимизировать среднюю ошибку. В итоге алгоритм на лету независимо округляет каждую координату по этой готовой сетке. 2) Однако для механизма Attention в LLM нам важно не просто восстановить вектор, а получить идеально точное скалярное произведение между парами векторов (Query и Key). Сжатие на первом этапе вносит в это произведение математическое смещение, из-за чего модель может начать галлюцинировать. Чтобы это исправить, алгоритм вычисляет остаток — разницу между оригинальным вектором и сжатым вариантом. Этот крошечный вектор-остаток дополнительно сжимается всего до 1 бита на каждую координату с помощью техники алгоритма: остаток еще раз умножается на случайную матрицу, и от получившихся чисел сохраняется только их знак (плюс или минус — тот самый 1 бит на измерение). Магия случайных проекций заключается в том, что даже сохраняя лишь знаки, мы с высокой точностью кодируем взаимные углы и расстояния между векторами. Мне это напомнило, как работает метод случайных проекций для приближенного поиска соседей — техника та же. И по итогу это позволяет компенсировать первоначальное смещение и получить точное скалярное произведение, при этом весь пайплайн не требует обучения на датасете и шикарно параллелится на GPU. Как результат, авторы показывают, что можно без потерь сжимать кэш в 4-6 раз. Ну и казалось бы всё, победа над проблемами с поставками памяти для GPU и SSD! Теперь памяти хватит, можно продавать акции Samsung, Micron и SK Hynix (основные производители памяти). Акции присели на 4-5%.... ...вот только статья от Google вышла в апреле 2025-го года 😕 просто в блог Google Research через все согласования доехло только 2 дня назад, вместе с анонсом в Twitter. Ну а инвесторы (большие — потому что большие, и маленькие — потому что глупенькие 🐟) статьи особо не читают и начали продавать акции. Хотя подумав подольше я пришёл к мнению, что крупные инвесторы скорее всего предсказывают не как новость повлияет на акцию в самом деле (в данном случае никак: алгоритму год, он или его аналоги, самый популярный из которых, пожалуй, DeepSeek MLA, которому больше полутора лет), а как новость будет воспринята рынком. Если новость выглядит как «надо продавать», то — даже если ты веришь, что не надо — надо продавать. Можно будет закупиться по цене чуть ниже. Ну а доступных SSD/DRAM не ждите 👼

Представляете вот вы открываете последнюю статью Terence Tao, «Моцарта от мира математики», а там написано «Первое из этих предположений было доказано с помощью ChatGPT». А представлять теперь и не надо 😭 В своём блоге автор даёт пояснение: — Я так и не понял, как доказать это неравенство, но решил попытать счастья и дать его ChatGPT Pro <и он решил его> Сомнений что без модели математик смог бы разобраться у меня нет; но теперь и решать самому не нужно, достаточно проверить и/или развить идеи, предложенные моделью. Terence последний год+ очень топит за верифицируемую математику — это когда все условия и доказательства записаны на специальном языке программирования, и компьютер проверяет решение, компилируя его. Если ошибок нет, то почти наверняка решение правильное. И тогда остаётся лишь проверять, что исходные условия + вердикт формализованы правильно — и всё. Звучит чудесно? Да, но к сожалению ручная формализция на этом языке очень времязатратна, на сложные доказательства могут уходить месяцы. И тут тоже помогает AI — см. Gauss.

В комментариях, к постам выше, как и всегда, люди торопятся давать оценки. Подобные перераспределения ресурсов и перемены в компании почти всегда стоит оценивать ретроспективно. Правда ли OpenAI готовят новую модель? Почти наверняка да. Делали ли новый претрейн? Не знаем 🤷‍♂️ станет ли модель лучше? да, но может быть незначительно, а может быть существенно — увидим через месяц или раньше. О чём стоит поговорить — так это о смене приоритета компании. Anthropic достаточно близко подошли по выручке за счёт роста Claude Code и ставки на энтерпрайз клиентов API. 80% от ARR в $19B — $15.2B — приходится на бизнесы, а не обычных пользователей. У OpenAI эта цифра $10B (от $25B, 40%) — отстают на треть. За последний месяц мы увидели несколько новостных репортажей о том, что OpenAI перераспределяет силы и будет больше фокусироваться на направлении продажи бизнесам — компания не хочет отдавать рынок Anthropic. Так что стоит ожидать выхода аналога Claude Cowork (OpenAI уже работает над супер-аппом, который соберёт воедино продукты компании, включая Codex и ChatGPT), более «теплого» или душевного стиля общения моделей, и упор в бенчмарках на прикладные бизнес-вещи (слайды, таблицы, следование инструкциям). Sora 2 не была умирающим продуктом — я писал ранее, что дневная аудитория не то что не убывает, она растёт, просто очень медленно и с низкой базы. Если на мощности для поддержания приложения для 4 миллионов человек можно поддерживать десятки миллионов пользователей Codex / ChatGPT for Business, а мощностей в целом впритык, то сворачивание проекта выглядит логичным. Смогут ли OpenAI нарастить темп роста и догнать/обогнать Anthropic по выручке в B2B? Узнаем в течении следующего года 🍟

Федеральный судья Рита Лин в ходе рассмотрения иска Anthropic к Пентагону заметила, что запрет администрации Трампа на использование госструктурами моделей Anthropic выглядит как наказание компании за то, что она публично раскрыла свой контрактный спор с Пентагоном. По словам судьи, действия правительства «похожи на попытку подорвать Anthropic» и потенциально нарушают Первую поправку. Решение по делу пока не вынесено, но судья запросила дополнительные доказательства. https://www.wsj.com/tech/ai/u-s-governments-ban-on-anthropic-looks-like-punishment-attempt-judge-says-2ff98fe3

Большие новости по OpenAI от The Information: - OpenAI завершила предобучение своей следующей крупной модели под названием Spud и ожидает, что уже через несколько недель получит очень сильную модель, способную заметно ускорить экономику. - По словам Сэма Альтмана, события развиваются быстрее, чем многие ожидали. На этом фоне OpenAI также переименовала продуктовую организацию в AGI Deployment. А тут еще Дженсен Хуанг на днях заявил, что по его мнению AGI достигнут. Такой вот зреет нарратив. - Чтобы высвободить вычислительные мощности под новую модель, компания закрывает приложение и API Sora, а также отложила планы по внедрению видео фичей в ChatGPT. - Исследования Sora при этом не исчезают: они будут смещены в сторону долгосрочной симуляции мира, ориентированной на задачи робототехники. - Одновременно Сэм отказался от прямого контроля над командами безопасности и защиты: безопасность теперь подчиняется CRO Марку Чену, а направление security президенту Грегу Брокману, чтобы сам Альтман мог сосредоточиться на привлечении капитала, цепочках поставок и строительстве дата-центров в огромных масштабах. https://www.theinformation.com/articles/openai-ceo-shifts-responsibilities-preps-spud-ai-model

OpenAI запускают серию соревнований, подготовленных членами их исследовательской команды Сейчас открыли первый челлендж: https://openai.com/index/parameter-golf/ Задача — обучить наилучшую языковую модель, которая помещается в 16 МБ и обучается менее чем за 10 минут на 8 H100. Оценка "наилучшести" — по сжатию отложенной части FineWeb, чем лучше модель предсказывает текст, тем лучше. Это очень похоже на NanoGPT спидран от Andrej Karpathy, только там нет ограничения на размер модели, и время не задано, а нужно оптимизировать. Во время соревнования OpenAI ожидает работу по большому количеству направлений — созданию уникальных архитектур (вычисления во время тестирования, агрессивная связка пар параметров, рекуррентность в глубину, обучение с низким рангом и т. д.), схем сжатия (низкая точность, QAT, битовые сети, новые токенизаторы и т. д.) и других креативных решений (обучение во время тестирования, длинный контекст и т. д.). И... участникам дают $1M кредитов на GPU! Можно попросить $25 — чтобы начать, $500 — чтобы протестировать набор идей, и $1000 — чтобы выбиться в топ. Просить кредиты можно несколько раз (в том числе и большие гранты). Соревнование закончится 30-го апреля, а в июне компания планирует нанять часть участников.

⚡️🚀SpaceX: Завершена начальная кампания по активации тестов Super Heavy V3 и стартовой площадки Starbase Pad 2, в ходе которой впервые была произведена загрузка криогенного топлива и окислителя на ускоритель 3-го поколения. Хотя статические испытания с участием 10 двигателей завершились досрочно из-за проблемы на земле, мы наблюдали успешный запуск всех установленных двигателей Raptor 3. Далее: подготовка ускорителя к статическим испытаниям с участием 33 двигателей.

OpenAI впервые с августа обновила свои мини- и нано- модели. Все мы знаем для чего sus 🤨

+2

Nvidia проводит конференцию GTC, которую открывает CEO компании. Игровых видеокарт не представят (да и скоро ждать не стоит 😭), зато показали новую железку, сделанную на основе технологий недавно «купленного» стартапа Groq. Groq специализировались на быстрой генерации токенов за счёт того, что в их картах не было HBM — очень быстрой, но всё ещё относительно медленной памяти. Вся модель и ваши токены жили в SRAM — супер-быстрой памяти (в 15+ раз быстрее), с которой напрямую взаимодействуют вычислительные юниты. Но она очень дорогая, и её мало — видеокарта GB200, использующаяся в датацентрах, имеет всего 126 МегаБайт SRAM (и это на 2 чипа внутри, то есть 63 МБ/чип). (это было одной из проблем Groq — они не могли запускать очень большие модели, SRAM не хватало) Теперь модуль Groq 3 LPX будет частью серверных стоек, которые предлагает Nvidia — специально для сценариев, где нужна сверх-быстрая генерация. Nvidia рассчитывает, что современные GPT (якобы размером в 2 триллиона параметров) смогут бегать на скорости в 400 токенов в секунду. В одной стойке LPX (на второй картинке) будет 128 GB SRAM – то есть огромное количество, по сравнению с обычными картами. Но этого всё равно не хватит, чтобы считать всё — поэтому Nvidia предлагает считать там только FFN/MOE, а Attention продолжать на картах Nvidia (картинка 4). О, и на последней картинке — Nvidia планирует сделать чип архитектуры Vera Rubin (следующее поколение, уже представлено, но ещё не продаётся) специально для космоса, с вниманием к выделяемому теплу. 🚀 🚀 🚀

Смотрим-слушаем про токеномику и гигаватты в свежем интервью Dwarkesh: https://www.youtube.com/watch?v=mDG_Hx3BSUE Какие темы обсудят: 00:00:00 – Почему H100 сегодня стоит дороже, чем 3 года назад 00:24:52 – Nvidia заранее забронировала мощности TSMC; Google сталкивается с дефицитом 00:34:34 – К 2030 году ASML станет главным ограничением для масштабирования вычислительных мощностей ИИ 00:56:06 – Разве нельзя просто использовать старые фабрики TSMC? 01:05:56 – Когда Китай обойдет Запад по масштабам производства полупроводников? 01:16:20 – Надвигающийся колоссальный дефицит памяти 01:42:53 – Увеличение энергетических мощностей в США не станет проблемой 01:55:03 – ДЦ в космосе не появятся в этом десятилетии 02:14:26 – Почему так мало хедж-фондов делают ставку на AGI? 02:18:49 – Вытеснит ли TSMC компанию Apple с техпроцесса N2? 02:24:35 – Роботы и риски, связанные с Тайванем

Cursor написали в своём блоге о том, как отслеживают качество моделей в написании кода. Они используют гибридный онлайн-офлайн процесс. Оффлайн — это обычный бенчмарк на внутреннем наборе тестов, основанном на сессиях работы инженеров компании. В среднем решение требует гораздо больше строк кода в решении, нежели публичные бенчмарки: изменение 352 строк в ~8 файлах. Сравнение с другими бенчмарками приведено на второй картинке — откуда также видно, что входное описание куда короче других бенчмарков, то есть в промпте не прописывают каждую маленькую деталь (но детали прописаны в рубрике для автоматической проверки). Онлайн-часть — это контролируемый анализ на реальном живом трафике. Такие онлайн-оценки помогают выявлять регрессии, например, когда результат работы агента выглядит правильным для проверяющего, но воспринимается хуже самим разработчиком, использующим продукт. Онлайн-оценка позволяет измерить, действительно ли улучшения помогают разработчикам на практике. Cursor отслеживают набор высокоуровневых прокси-метрик (косвенных показателей) результативности агента на основе действий пользователя. Онлайн и офлайн бенчмарк очень скоррелированы и имеют одинаковое ранжирование моделей (третья картинка) — в топе GPT-5.4, чуть ниже Opus 4.6 на уровне с GPT-5.2, а собственная модель компании Composer 1.5 обходит Sonnet 4.5 (при том что она гораздо быстрее за счёт инференса на чипах Cerebras). Приятно удивлён, что пользователи Cursor так высоко оценивают модели OpenAI — но ещё здорово и то, что они требуют меньше токенов для решения задач. Задачи CursorBench решаются в рамках одной сессии, но компания ожидает, что в течение следующего года подавляющее большинство задач по разработке будет передано агентам с длинным горизонтом планирования, работающим на своих собственных мощностях где-то в облаке — и бенчмарк придётся адаптировать к этому.

Как пример изменения потребления электричества (а значит и систем охлаждения, и всей сети в ДЦ) — в поколении Vera Rubin Nvidia будет предоставлять серверные стойки с 576 чипами в одной! Для сравнения, сейчас почти все ДЦ залиты стойками, в которых по 72 видеокарты (иногда это значит, что там 144 чипа). А тут и сами чипы мощнее (и требуют больше энергии), и всё оборудование вокруг них, и чипов больше в 4 раза. Nvidia написала по этому поводу несколько блогов, например, вот этот, где объясняют про переход от 54 VDC к 800 VDC для этих стоек. VDC — это напряжение. На старой системе не получится делать масштабируемые решения в силу разных причин, в основном медной шины, по которой идёт ток к стойкам.

В последнее время много слухов про Stargate и вычислительные мощности OpenAI — от «Oracle и OpenAI отказались от планов расширения дата-центра в Техасе» (на основе этой новости) до «проект Stargate закрылся». Что именно происходит? Ну, про закрытие это очевидно бред. Вот материал от достоверного источника TheInformation, который написан примерно в то же время и имеет схожий сентимент, и в нём говорится: — Компании OpenAI и SoftBank разошлись во мнениях относительно того, как совместно делать ДЦ — Совместное предприятие Stargate не нанимало персонал и не занимается разработкой ни одного из ДЦ OpenAI — В течение нескольких недель после объявления о запуске Stargate (в январе 2025-го) царил хаос из-за отсутствия руководства и координации. Звучит как закрытие проекта, да? Нет, в том же материале: — Несмотря на непростое начало, центры обработки данных, составляющие проект Stargate, наконец-то начинают обретать форму. Вместо того чтобы агрессивно строить и владеть центрами обработки данных самостоятельно — и привлекать для этого заемные средства — OpenAI делает большую ставку на сделки с облачными партнерами. — По словам двух сотрудников OpenAI, компания по-прежнему намерена строить собственные центры обработки данных, но это больше не является приоритетом в ближайшем будущем. Вместо этого она использует бренд Stargate для структурирования ряда соглашений в области облачных технологий и инфраструктуры. — OpenAI не достигла заявленной цели по получению от SoftBank и Oracle обязательств по выделению 10 ГВт мощностей на следующие три года. На конец 2025-го было согласовано... 7.5 ГВт (и куда больше — с другими провайдерами). Но так или иначе, несмотря на проблемы, это 75% оговоренного объема! По сути, изначально Stargate подразумевал прямую работу с 2 компаниями — одна даёт деньги, другая строит ДЦ, но позже сам проект расширился, но конкретно скоуп работы с этими двумя немного сузился. Изменение ли это планов? Да. Закрытие проекта? 🤣 Теперь про самую свежую новость, про Техас и планы по расширению. Bloomberg написали, что отказались от предварительных планов по расширению уже существующих договорённостей. Изначально заложенные 1.2 ГВт остаются в силе, строятся (первая часть уже онлайн и, вероятно, участвовала в запуске GPT-5.3 / 5.4), запуск следующих зданий в этом ДЦ ожидается 1-го апреля. Но кроме этого велись обсуждения на то, чтобы делать больше 1.2 ГВт, и «переговоры затянулись и осложнились проблемами финансирования и постоянно меняющимися прогнозами спроса OpenAI, прежде чем окончательно сорвались». TheInformation дополняет: «К тому времени, как расширенная площадка будет готова, Nvidia начнет поставки своих систем на базе чипов следующего поколения Vera Rubin, и OpenAI хотела найти новое место для размещения этих чипов, а не размещать их на существующем кампусе, где используются чипы Blackwell текущего поколения. Компания не хотела размещать чипы двух разных поколений Nvidia на одной площадке и предпочла бы консолидировать чипы Rubin в разных, расширяемых пространствах». Имеет ли это смысл и может ли быть правдой? Ответ: да, так как из-за развития видеокарт требования к электросети и охлаждению очень разные. Из-за этого меняется инфраструктура вокруг, и приходится использовать другие решения. Вот тут Semianalysis рассказывали, как визуально изменилась форма датацентров Microsoft, и что META вообще прекратила стройку и на ходу поменяла планировку, чтобы было как лучше — настолько большая разница может быть из-за нового железа. Поэтому разделять датацентры по поколениям железа — это вполне нормально.

Financial Times пишет об экстренном собрании в Amazon по серии сбоев в работе сайта и инфраструктуры. Среди причин — изменения кода, внесённые с помощью AI-инструментов, для которых, как признаёт сама компания, «лучшие практики и меры безопасности ещё не полностью установлены». Один из эпизодов заметили все — инфраструктура AWS лежала в декабре после того, как разработчики согласились с предложением AI-агента Kiro "удалить и создать заново окружение". Еще один инцидент случился в этом месяце — на протяжении 6 часов часть функций Amazon была недоступна из-за деплоя софта с ошибками. Старший вице-президент Дэйв Тредвелл теперь требует, чтобы младшие и миддл разработчики получали одобрение старших коллег на любые изменения, сделанные с помощью AI. По данным FT, несколько инженеров Amazon связывают рост количества инцидентов с сокращениями — компания уволила 16 тысяч человек только в январе. Amazon это отрицает. https://www.ft.com/content/7cab4ec7-4712-4137-b602-119a44f771de

Вчера Anthropic запустили Claude Code Review — агента для ревью кода. Это не входит в подписку, и придётся платить $15-25 за ревью одного PR (ну или любого куска кода, который вы хотите). С одной стороны это кажется много — у OpenAI даже в Plus-подписке за $20 включено 40-100 ревью в месяц. Сравнить качество сложно, никакого бенчмарка я не видел, да и с такими ценами не уверен, что кто-то будет гонять хотя бы сотню PR, чтобы сделать оценку 😳 Anthropic дают такую оценку по результатам внутреннего тестирования: в больших PR (более 1000 измененных строк) выявляются ошибки в 84% случаев, в среднем 7,5 проблем. Инженеры в основном согласны с тем, что выявляется: менее 1% ошибок помечаются как неверные. (7.5 проблем на 1000 строк звучит уж очень много 😭) С другой стороны, если брать зарплату сеньор-инженера из Google, то час времени стоит $200 (средняя компенсация в США — не в СФ! — $420k в год, за 250 рабочих дней), и получается что в среднем $20 за PR — это эквивалент 6 минут времени такого специалиста. И так как количество написанного кода начинает сильно расти, и именно ревью становятся бутылочным горлышком — сомнений, что пользоваться фичей будут, у меня нет. А OpenAI упускает большую выручку 😡 === Вспомнился ответ Mike Bloomberg тем, кто возмущается стоимостью Bloomberg Terminal в 2700 долларов в месяц: «Если вы не можете зарабатывать 2700 долларов в месяц с помощью нашего продукта, у вас есть проблемы поважнее».

Одна из крупнейших венчурных фирм a16z выпустила отчёт по AI-индустрии с большим количеством графиков. Я его полистал и нашёл пару интересных моментов: 1. Приложение Sora c генерацией видео еще живо и даже растёт — дневная аудитория чуть больше 3 миллионов пользователей. Солидно само по себе, но на фоне замашек OpenAI цифра достаточно скромная. 2 и 3 — доля ChatGPT по сессиям. С ростом рынка и появлением новых продуктов доля падает, но остаётся солидной. Количество времени, проведенном в ChatGPT, в 8 раз выше, чем у топ-2 игрока.