Сиолошная

🩸 тем кто планировал умирать с мая по ноябрь 2026-го — придется отложить планы и подождать теперь уже перенесённой GTA VI Ждём ещё больше года... Half-Life 3 поди выйдет быстрее! We are going to have an automated AI research intern running on hundreds of thousands of GPUs before GTA 6.

начинаем день с грустной правды оригинал UPD: насколько я понял по комментариям, черепахи не заботятся о детях, «после вылупления детёныши полностью предоставлены себе: никто их не кормит и не защищает». Поэтому LLM-ка пишет, что мама, скорее всего, не вернётся.

Картинка с результатами всех протестированных моделей

CodeClash выявляет существенные различия в подходах моделей к редактированию кода. Например, модели o3 и Gemini 2.5 Pro обычно редактируют в среднем всего 2 файла за раунд, в то время как GPT-5 изменяет от 5 до 6 файлов (при этом её качество в среднем лишь совсем чуть-чуть лучше o3). Размер правок также сильно отличается: o3 в среднем добавляет или удаляет 51 строку за раунд, что в 8 раз меньше, чем у Qwen3 Coder или моделей семейства Claude Sonnet, которые обычно изменяют более 400 строк. Claude Sonnet 4.5 обычно использует 23 из предоставленных 30 шагов редактирования, тогда как GPT-5 и o3 завершают раунд всего за 15 шагов. Ключевых инсайта к деградации качества у моделей два: I. Даже сильные модели испытывают трудности с восстановлением после проигранных раундов. В реальной разработке ранние решения часто принимаются в условиях неопределённости: оптимальный подход может выявиться только после тестирования, реального использования и наблюдения за конкурентами. Поэтому способность интерпретировать шумные сигналы и пересматривать внутренние гипотезы и ключевые архитектурные решения крайне важна для успеха на практике. Раундовая структура CodeClash показывает, насколько плохо языковые модели адаптируются после провала их начальной стратегии. Например, для Claude Sonnet 4.5 после проигрыша одного раунда вероятность победы в следующем составляет менее трети, что вдвое ниже её общей вероятности выигрыша раунда (71%). II. Большинство моделей испытывают затруднения при анализе логов и не могут извлечь значимых инсайтов о своём поведении. Агенты имеют доступ к подробным записям всех предыдущих раундов, включая сотни и даже тысячи симуляций против оппонентов. Эти логи могут показать не только улучшила ли изменения прошлого раунда процент побед, но и точное поведение, приведшее к выигрышу или проигрышу. Однако, несмотря на явные подсказки в промпте написать инструменты анализа, большинство моделей не способны извлечь из логов полезную информацию и зачастую ограничиваются чтением первых строк или простым подсчётом процента побед за последний раунд. При этом всём модели часто галлюцинируют в процессе анализа своих ошибок и неверно интерпретируют логи и результаты анализа. Наиболее характерный пример — агенты делают выводы о причинах поражения на арене, прочитав лишь первые строки одного лога, хотя эти строки даже не содержат описания конца игры!

CodeClash: Benchmarking Goal-Oriented Software Engineering (сайт проекта) Новый бенчмарк от Ofir Press и команды SWE-bench. Авторы замечают, что текущие бенчмарки для оценки навыков программирования завязаны на конкретных, четко сформулированных задачах, таких как исправление определенных ошибок или написание точечных тестов. Однако реальные программисты не занимаются весь день решением изолированных задач. На практике разработка связана с достижением высокоуровневых целей, таких как повышение удержания пользователей или снижение расходов. Так и появился CodeClash — бенчмарк, в котором LLM соревнуются в многораундовых турнирах за создание лучшей кодовой базы для достижения некоторой цели (в данном случае на примере 6 игр, но в целом это может быть хоть что, где можно делать симуляции и замерять качество). То есть играет не сама модель, а код, который она пишет и улучшает. Каждый раунд проходит в две фазы: агенты редактируют свой код, затем их кодовые базы соревнуются друг с другом, где победители определяются на основе критериев конкретной игры. Каждый раунд проводят по 1000 игр. Редактирование между раундами ограничено $1 на API (так что Opus 4.1 грустит в сторонке) и 30 шагами. Авторы пишут, что в долларовое ограничение модели почти не упираются, а вот по шагам — вполне. Разрыв с человеческим уровнем значителен. Авторы взяли топ-решение для одной из игр (под названием «gigachad» 😂), модель Claude Sonnet 4.5 не выиграла ни одного из 150 раундов против него, что соответствует нулю из 37 500 симуляций (10 турниров × 15 раундов × 250 симуляций). При этом человеческий бот оставался неизменным на протяжении всех раундов, его никак не адаптировали.

Собираю материал для нового лонгрида, и его уже так много, что точно придётся выкидывать часть. Но какую? Что убрать, если кажется что всё связано? На какой именно вопрос пытаться ответить лонгом из более чем двадцати возникших по ходу сбора информации? Я понимал, что нужно определить один высокоуровневый вопрос из всех тех, что у меня записан, но правильным решением оказалось найти контекст, из-за которого я вообще полез что-то читать и разбираться, и всё сразу встало на свои места. иронично что ответы я ищу в статьях DeepSeek 😀

Epoch.AI собрали информацию по крупным строящимся и планируемым датацентрам мощностью не менее 1 ГигаВатта, всего таких в США 13 штук. Для каждого проанализировали спуниковые снимки, документы, поданные в соотв. органы, и планы поставок GPU и построили графики ввода в эксплуатацию у разных компаний. Вышло очень круто! Покликать самому: https://epoch.ai/data/data-centers/satellite-explorer

Ryan Greenblatt, Chief scientist at Redwood Research, я всегда читаю с удовольствием — и вот он как раз выпустил новый пост (совпадение ли — про ожидания Anthropic 😀) с рассуждениями про «What's up with Anthropic predicting AGI by early 2027?» Я не буду лишать вас возможности прочитать все выкладки и рассуждения, лишь покажу пару картинок и опишу ход поста. Сначала Ryan делает аккуратный анализ заявлений лидершип-команды Anthropic, включая высказывания CEO Dario Amodei (ну, что 90% кода будет писаться AI — Greenblatt 2 недели назад и про это делал глубокий анализ). Затем он старается выстроить по кварталам ход развития от текущей точки развития моделей, если замерять их навык решения ML/AI research задач, до 2027-го, и оценить, как это согласуется с имеющимися данными. Сам Ryan делает более сдержанный прогноз (зелёные точки на картинке) и описывает в деталях, как и когда какие вещи должны произойти по ходу 2026-го, чтобы понять, по какому пути мы идём. При этом автор пишет то, что в целом согласуется с моим мнением (у меня чуть быстрее таймлайны): «Я считаю, что создание AGI, трансформирующего экономику, сопоставимых по возможностям или превосходящих понятие мощного ИИ по версии Anthropic, вероятно уже через 5 лет и весьма вероятно (более 50%) в течение 10 лет. Соответственно, общество крайне недостаточно готовится к рискам, связанным с такими системами ИИ». Думаю, одно из главных различий наших точек зрения, если сильно упрощать — это ожидание прорывов, подобных появлению рассуждающих моделей.

Anthropic прогнозирует выручку в размере 70 миллиардов долларов и положительный денежный поток в размере 17 миллиардов долларов в 2028 году — пишет TheInformation Тезисно: — На основе текущих финансовых показателей Anthropic повысила прогноз роста на ближайшие три года на 13–28%. — Ожидаемая выручка компании в 2028 году — до $70 млрд (в этом году — около $5 млрд). — В 2025 году доход Anthropic от API будет примерно в два раза выше, чем аналогичный показатель у OpenAI. — В сентябре Anthropic привлекла $13 млрд инвестиций (изначально планировалось $3,5 млрд), что говорит о повышенном интересе со стороны инвесторов. — Anthropic планирует выйти на положительный денежный поток к 2027 году (OpenAI — не раньше 2030 года). — В этом году прогноз выручки OpenAI ($13 млрд) почти втрое выше, чем у Anthropic ($4,7 млрд). — В 2028 году Anthropic планирует получить до $17 млрд свободных денежных средств, тогда как OpenAI прогнозирует убыток почти в $47 млрд. — Реалистичный сценарий Anthropic на 2028 год: $3,6 млрд свободного денежного потока при выручке $32,5 млрд. — Более 80% доходов Anthropic до 2028 года будет приходиться на продажи бизнес-клиентам через API и приложения. — Годовая выручка (последний месяц * 12) от Claude Code приближается к $1 млрд (в июле было $400 млн). Текущая годовая выручка Anthropic (на основе последнего месяца) — около $7 млрд. — Валовая маржа с учётом бесплатных пользователей у Anthropic: * прошлый год: −109% * текущий год: 47% * 2028 год: 75% (обычно 70%+ — показатель успешных взрослых корпоративных стартапов) Картинка 1: прогноз выручки по годам, с учётом базового и оптимистичного сценариев Картинка 2: динамика суммарного денежного потока у двух компаний (OpenAI не собирается вылезать из минусов)

Первая H100 вышла в космос В небольшом спутнике размером с мини-холодильник влезли солнечные панели, радиаторы и, собственно, компьютер с одной видеокартой. В перспективе компания Starcloud собирается строить в космосе гигантские датацентры гигаваттного класса с миллионами видеокарт. Ключевое преимущество— на гелиосинхронной орбите всегда светит солнце, что позволяет использовать в разы меньше солнечных панелей и не требует батарей или дополнительных электростанций для работы датацентра ночью. Это позволяет заметно снизить цены на электричество и убирает зависимость от целых классов дефицитных компонентов с гигантскими сроками поставки. Датацентр на пять гигаватт вместе с солнечными панелями будет весить примерно 20 тысяч тонн и занимать примерно 16 километров по площади. Для контекста: за всю историю космических полётов на орбиту суммарно было выведено около 40 тысяч тонн, так что цель вывода такой махины на орбиту амбициозная, но не невозможная. Главный вопрос в цене — в их вайтпейпере они рассчитывают на стоимость вывода килограмма на орбиту в $30, но экономика сходится и при цене в пару раз больше. На текущих ракетах такой низкой цены не добиться, нужно ждать ввода в эксплуатацию Starship. А пока они тестят системы питания и охлаждения, да и в целом как видеокарта ведёт себя в космосе. @ai_newz

Но как он будет работать ночью, когда выключат свет? 🤔 Можно прочитать в WhitePaper компании: ссылка Главная точка выгоды — энергия: по расчётам компании, за 10 лет кластер на 40 МегаВатт затребует электричества на $140M. Это не так много, но и датацентры, заложенные сейчас, будут в 25 раз больше (по 1 ГигаВатту). Но космос добавляет доп. затраты, запуск самая большая строка расходов ($5M), $2M за солнечные панели и $1.2M за защиту от радиации.

Некоторые подробности 4-дневного увольнения Sam Altman осенью 2023-го года были раскрыты в среду на этой неделе в ходе суда, рассматривающего федеральный иск Elon Musk против OpenAI по поводу корпоративной реструктуризации, пишет TheInformation. Было опубликовано 60 страниц транскрипций допросов и показаний. Среди прочего, в расшифровке подробно обсуждается обширная документация внутренних конфликтов в OpenAI, которую Ilya Sutskever направил некоторым другим членам совета директоров до того, как те уволили Sama. Сам Ilya практически не комментировал свою роль в тот период. На допросе Sutskever вспомнил, что надеялся на провал переговоров по объединению OpenAI и Anthropic (да-да, и такие велись! Но про них стало известно почти сразу ещё 2 года назад), «потому что действительно не хотел, чтобы OpenAI объединилась с Anthropic». Через четыре дня после увольнения Altman, которое привело к угрозе более 700 сотрудников уволиться в знак протеста, совет директоров восстановил его в должности генерального директора. В течение этого периода позиция самого Sutskever также изменилась, и в итоге он поддержал возвращение Sam Altman. Именно Ilya подтолкнул независимых членов совета директоров того времени к принятию решения, отправив им электронное письмо с двумя служебными записками, в которых описал поведение Sam и сооснователя и президента OpenAI Greg Brockman, вызывавшее у него тревогу. «Sam постоянно лжёт, подрывает позиции своих руководителей и натравливает их друг на друга», — говорилось в служебной записке, согласно словам адвоката Маска во время допроса. Адвокат затем спросил: «Какое действие, по вашему мнению, было бы уместным в данной ситуации?». «Увольнение» — ответил Ilya. Представитель OpenAI заявил: «Эти утверждения были полностью изучены во время независимого расследования совета директоров, который единогласно пришёл к выводу, что Sam и Greg — правильные лидеры для OpenAI. Они постоянно демонстрируют устойчивость и глубокую преданность нашей миссии и людям, которые её реализуют». Напомню, что расследование велось независимой командой юристов и аудиторов, и что в тот момент Sam/Greg не входили в совет директоров, и на их место был назначен, например, Larry Summers, бывший директор Национального экономического совета и министр финансов США. «Sam был вытеснен из Y Combinator за подобное поведение. Он создавал хаос, запускал множество новых проектов, сталкивал людей друг с другом и, как следствие, плохо управлял YC», — гласила записка Sutskever, как сообщил адвокат OpenAI. Sutskever отметил, что эту информацию о работе Altman в Y Combinator—престижном стартап-акселераторе, которым Altman руководил в качестве президента с 2014 по 2019 год—ему рассказала Mira Murati. Основатель Y Combinator Paul Graham, который некогда и назначил Sam вместо себя, опроверг информацию о том, что Altman был уволен из акселератора с подобной формулировкой. Также в служебной записке Sutskever рассказал и о своих личных конфликтах с Altman. Согласно записке, Dario Amodei хотел руководить всей исследовательской деятельностью OpenAI и настаивал на увольнении Greg Brockman (тогда — СТО компании). Sutskever сообщил, что перед попыткой увольнения он составил 52-страничную записку с приложением скриншотов переписок между Altman и другими руководителями, в которых описаны предполагаемые случаи обмана со стороны Sam, поскольку некоторые члены совета директоров просили его предоставить документальное подтверждение. Суд обязал Ilya Sutskever предоставить дополнительную информацию о его собственном финансовом интересе в OpenAI, а также представить собранное им досье на Greg Brockman. По информации The Wall Street Journal, эта записка была посвящена предполагаемым случаям буллинга со стороны последнего.

Пару-тройку недель назад люди начали жаловаться, что Codex, кодинг агент + модель от OpenAI, начали хуже работать. Несмышлёные люди, как и в прошлые разы с Claude / почти любыми другим продуктами, сразу заводят шарманку, что компании намеренно понижают качество / отупляют / меняют модели (правда никогда не могут показать конкретный пример было / стало, чтобы оценить деградацию). Моё объяснение было и есть, что а) если вдруг на самом деле есть деградация, то она обусловлена скорее багом в системе, который сделан по ошибке б) люди делают суждения на основе сравнений в РАЗНЫХ задачах в РАЗНЫХ контекстах по 5-10 запросам, и люди очень плохи в экстраполяции навыков моделей. Команда Codex провела неделю отладки, выделив ресурсы лучших инженеров и постаравшись охватить как можно больше изменений. По результатам работы написали отчёт на 4 страницы, TLDR: «Команда считает, что имело место сочетание изменений в поведении пользователей со временем, некоторые из которых были вызваны новыми функциями, такими как сжимание контекста, а также конкретных небольших проблем, выявленных в ходе расследования и описанных ниже». Более детально: — по внутренний метрикам и бенчмаркам, а также по опыту использования команда не заметила просадок, но всё равно решила отреагировать на жалобы пользователей. — быстро добавили функцию /feedback и расширили собираемую телеметрию, добавив оборудование и GPU-кластер, использованные для обработки — удалили 60 фича-флагов (😳) и сейчас находятся в процессе удаления ещё 80 (😳). Это уменьшает количество неочевидных взаимодействий и комбинаций. — запустили расширенные тесты на всех комбинациях железа/кластеров — на результатах тестирования построили регрессии, чтобы увидеть связи между почасовым удержанием пользователей и целым рядом характеристик запросов, таких как модель, версия сборки CLI, операционная система, время суток, обслуживающий кластер, оборудование и тип плана пользователя. Также были проведены оценки по каждому типу оборудования, в ходе которых выявились небольшие проблемы производительности на старом оборудовании. Это оборудование было исключено из эксплуатации. — Одним из первых трендов, замеченных в обратной связи пользователей, стали вопросы, связанные с compaction. Когда окно контекста почти исчерпано, модель просят сжать диалог, очистить контекст и продолжить работу с новым контекстом. — Команда заметила, что (a) процент сессий, в которых используется compaction, со временем растёт, и (b) текущая реализация compaction может быть улучшена для достижения лучших результатов. Оценки подтвердили, что качество снижается с увеличением количества выполненных compaction (ручных или автоматических) в рамках одной сессии. — Также были найдены сообщения о случаях, когда модель при неудачной попытке применить патч (внести изменения в файл) удаляла и повторно создавала файлы. В принципе, это не некорректное поведение, но оно может создавать проблемы, если агент прерывается или не может применить второй патч после удаления файла. Команда решила исправить это путём улучшения поведения моделей в будущем, а также реализовать срочные меры на следующей неделе, чтобы ограничить рискованные последовательности изменений. — Команда обнаружила маленький баг в реализации constrained sampling, приводящий к тому, что генерируемая последовательность токенов могла оказаться вне распределения. Позже было подтверждено, что сообщения о случаях, когда модель переключала язык в середине предложения, были вызваны именно этим багом. Влияние этого бага затронуло менее 0,25% всех сессий. — Прогнали тесты на всех версиях с 0.40, выявили, что изменения промптов, добавление веб-поиска и другие фичи не ухудшают качество, и при этом позволяют сократить количество токенов на 10% Количество пользователей Codex и частота его использования растут. Наблюдается рост сложности сценариев использования за счёт увеличения количества используемых инструментов. Команда продолжает рекомендовать минималистичные настройки и небольшие, узконаправленные диалоги, чтобы достичь максимальной производительности Codex.

Мы потихонечку входим в эпоху, где LLM настолько умны, что могут помогать в решении задач исследовательского уровня в математике и вносить meaningful contribution — по крайней мере если судить по вайбам выкладкам некоторых профессоров в твиттере. Я думаю, что момент, когда можно показать на конкретную работу и закричать «Оно! Видите? Ну вы видите?» ещё не наступил, но он витает в воздухе (даже несмотря на наличие FunSearch / AlphaEvolve). Всё больше и больше математиков из топовых университетов пишут про пользу моделей: тут помогли подкинули идею, там написали доказательство и сократили время, здесь помогли найти решение 30-летней давности для задачи, которая считалась нерешённой. Ernest Ryu, профессор математики в UCLA, пишет: — Я твёрдо убеждён, что мы находимся в переломном моменте в истории математики. В ближайшие годы использование больших языковых моделей в математических исследованиях станет обычной практикой, как и формализация доказательств в Lean, упрощённая благодаря LLM. В шахматах Magnus Carlsen сказал: «Был период, когда становилось очень явно видно, кто из игроков использовал [искусственный интеллект], а кто нет. Мы начали его применять и получили преимущество практически над всеми — это позволило нам намного глубже понять игру». То же самое произойдёт и в математике. Постепенно различные направления начнут собирать низко висящие плоды новой эпохи исследований с помощью LLM. Время от времени будут появляться результаты, явно достигнутые без участия LLM, и их будут отмечать как яркие вспышки человеческого гения. Я не знаю, каким будет финал. Сможет ли когда-нибудь LLM самостоятельно доказать важную нерешённую математическую проблему — покажет время. Но я уверен, что большие языковые модели значительно ускорят прогресс в математике. === Не думаю, что окно между «Ого, оно может вносить значимый вклад!» и «ого, я уже не могу вносить значимый вклад...» будет длинным (больше 10 лет).

Интересная новость из свежей рассылки The Pragmatic Engineer: Во время моего визита я встретился с Sulman Choudhry, который руководит направлениями инженерии и прикладных исследований ChatGPT. Он поделился несколькими интересными моментами: Теперь OpenAI нанимает не только сеньоров, но и джунов. Компания успешно использует подход «супер-сеньор + супер-джун». «Супер-джуны» — это молодые инженеры, выросшие в эпоху ИИ, с предпринимательским складом мышления, многие из которых прошли акселератор стартапов Y Combinator. По словам Сулмана, супер-джуны используют ИИ-инструменты такими способами, которые удивляют их более опытных коллег. Например, один из таких инженеров выполнил впечатляющую работу, и Сулман спросил, использовал ли тот Codex для этого. Это вызвало оборонительную реакцию, и Сулман сначала подумал, что инженер обиделся, так как сделал большую часть работы вручную и ему не понравилось предположение о том, что задачу просто поручили ИИ. Вот как Сулман пересказал ответ инженера: «Это немного обидно, что ты спрашиваешь, использовал ли я Codex. Конечно же, один Codex не смог бы построить софт такой сложности, и ты наверняка это тоже понимаешь. Именно поэтому мне пришлось использовать сразу несколько экземпляров Codex, наладив между ними каналы связи, чтобы они совместно решали задачу: один проверял работу, а остальные реализовывали специализированные части». Выяснилось, что инженера раздражало не предположение об использовании Codex, а предположение, что он использовал только один его экземпляр! В конце концов, кто же захочет так замедлять свою работу? Супер-джуны в OpenAI двигают границы возможностей ИИ-инструментов и вдохновляют более опытных инженеров применять их по-новому. Про запуск 3-5 окон в параллель в разных папках слышал, но про такое — ни разу. Интересно. когда добавят такую фичу в сам Codex 🤔 Вот вам и 20x инженеры, выступающие в роли операторов агентов, контролирующие их работу и задающие направление разработки. === И ещё оттуда же: Одна из последних интересных внутренних фичей — кнопка «починить это», интегрированная во внутреннюю версию мобильного приложения OpenAI. Все мы привыкли к кнопке «сообщить об ошибке» в мобильных приложениях: делается скриншот, вы описываете проблему и отправляете отчёт. Команда OpenAI пошла дальше: вы заполняете форму с описанием ошибки и нажимаете кнопку «починить». Отчёт отправляется в Codex, который автоматически предлагает исправление. Инженеру остаётся только утвердить предложенный вариант — и этот цикл обратной связи значительно ускоряется!

Вышел Cursor 2.0, и переход к новой мажорной версии сделан не просто так. Теперь вдобавок к режиму IDE (среде разработки) добавлен режим Agent. Он сфокусирован и изначально задизайнен с акцентом на агентов, а не на файлы. Когда вам необходимо погрузиться глубже в код, вы можете легко открыть файлы в новом интерфейсе или переключиться обратно на классическую IDE. Cursor 2.0 позволяет с легкостью запускать множество агентов впараллель, без взаимных пересечений. Можно запускать как одни и те же модели, так и разные — это новый паттен, возникший в последние полгода: люди работают в 3-4-5 копиях одного репозиториря, чтобы не просиживать штаны, пока агент гоняет код. Но и параллельный запуск нескольких моделей для решения одной и той же задачи с последующим выбором наилучшего результата значительно улучшает итоговый результат. В Cursor 2.0 мы теперь стало намного проще быстро просмотреть изменения, внесенные агентом, и при необходимости глубже изучить код. Кроме того, в инструмент внедрили специальный браузер, позволяющий Cursor-агенту тестировать свою работу и итерироваться, пока не будет получен корректный конечный результат. Плюс, если вам что-то не понравится — можно выделить элемент и дать обратную связь для исправления. Вместе с этим компания запускает Composer, модель, обученную ими самими (вот блог, из интересного — используют свои MXFP8 kernels). Она не лучше закрытых проприетарных решений, зато сильно быстрее; но цена — как у GPT-5 (то есть ниже Sonnet 4.5 и тем более Opus). С дизайна в ролике кайфанул 👇

NVIDIA стала первой в истории компанией с оценкой в 5 триллионов долларов гг, Дженсен

Для контекста: — Капитализации в $4 триллиона Nvidia достигла всего 3 мес. назад — Три года назад, до выхода ChatGPT, оценка была $400 млрд

🧮 STARSHIP - SATURN V = 2 На видео представлены все 11 запусков Starship с Pad A, синхронизированных во времени. Одиннадцать запусков — это значит, что всего двух запусков недостаёт самой большой ракете в мире (Starship) чтобы сравняться с легендарной Saturn V — и это при том, что следующая версия Starship V3 в 3 раза мощнее лунной ракеты. В следующем году Starship побьёт рекорд Saturn V и станет самой запускаемой сверхтяжёлой ракетой в истории. В будущем это число быстро станет четырёхзначным. Ну и Starship HLS слетает на Луну. Куда он денется. 😏 #SpaceX #Starship 🔧 Подписаться: @SpaceX_rus 📰

Немногие знают, что последний коллаж из поста выступал у меня заставкой на рабочем столе долгое время (писал тут https://t.me/seeallochnaya/505) Вот и современная версия подоспела!