Сиолошная

Простите ответ на посты выше будет поздно вечером, вышло интервью с Илюхой https://www.youtube.com/watch?v=aR20FWCCjAs

Не обращайте внимание, гифка абсолютно никак не связана с постом выше 🙂

(poll without text)

А давайте вот такой эксперимент представим: вы Anthropic, тренируете мощную LLM писать код, используя Reinforcement Learning (RL) и заставляете модель рассуждать перед ответами. Модель самая настоящая, не игрушечная, и обучается на реальных средах для того, чтобы вы потом радовались в Claude Code какая она умница. Среды — это задачи (состояние кода + текстовый промпт) + тесты. Если тесты проходят — модель получает награду. Если падают — штраф. После этого модель обучают через RLHF, где показывают большое количество пар ответов для одного запроса и говорят, какой из них предпочтительнее. Таким образом модель учат быть полезной, всегда помогать пользователю, отвечать в правильном тоне, знать, что это Claude, а не ChatGPT, и так далее. После этого модель разворачивают в продакшен, и вы как разработчик используете её в Claude Code для своей работы. Вы обнаружили, что некоторые из сред, использовавшихся во время тренировки, имеют проблемы, когда тесты не идеальны, и модель может «схитрить» — например, вместо реальных вычислений всегда возвращать одно и то же число (если у вас всего один тест), или вызывать код закрытия программы до того, как всплывут ошибки (ну а раз программа завершилась без ошибок — тесты пройдут). И вот вы берёте Claude Code и начинаете разрабатывать классификатор, который будет использоваться во время обучения следующей итерации Claude, и хотите сделать так, чтобы если вдруг модель пользуется этими недостатками, хитростями — то мы на таких примерах не обучаемся. Вопрос: насколько хорошо, качественно и добросовестно Claude Code выполнит свою работу? === Из комментариев: В посте говорится про то, как будет вести себя модель, если вы будете просить её сделать штуку, которая должна пофиксить лайфхак которым пользуется сама модель. Ну т.е. задача как бы не в её интересах.

Forecasting AI Time Horizon Under Compute Slowdowns В начале года METR представили свою работу по AI Time Horizon — оценку того, как долго агент может автономно выполнять задачи, связанные с ML и разработкой. На некотором наборе данных они эмпирически обнаружили, что с 2019 по 2025 год этот показатель рос экспоненциально, удваиваясь каждые 7 месяцев. На момент выхода статьи лучшей моделью была Claude Sonnet 3.7 с показателем 54 минуты, сегодня это GPT-5.1-Codex-Max c почти 3 часами — получилось как бы «удвоение» (с учётом огромных доверительных интервалов). И дальше и авторы, и многие последователи экстраполировали этот тренд и использовали как факторы для своих моделей анализа будущего. Работа, вышедшая вчера (я так понял независимо от METR, хоть один из со-авторов и работает там) — это корректировка для этой модели: там заметили, что рост тесно связан с безумным наращиванием вычислительных мощностей. Авторы задались вопросом: а что будет, если (или когда) экспоненциальный рост железа упрётся в стену или просто замедлится? Они построили теоретическую модель, где прогресс зависит от двух факторов: затрат на обучение и качества алгоритмов (которые, в свою очередь, зависят от затрат на экспериментальные вычисления/исследования — то есть тоже от мощностей). Грубо говоря, если темпы наращивания кластеров упадут в два раза, то и прогресс в автономности агентов замедлится ровно в два раза. Дальше авторы берут опубликованные недавно планы OpenAI по железу до 2030-го года (после 2030-го просто сохраняют темп роста; и ещё закладывают увеличение эффективности самого железа), и делают расчёт уже с поправкой. Так, например, агент с горизонтом в 1 месяц при 50% успеха (= делает половину задач, которые в разбираемом домене занимают у инженеров по месяцу) уезжает с 2029-го на 2033-й. 1 неделя — с начала 2028-го на 2030-й. Эти цифры очень близки к моим внутренним прогнозам / вере в прогресс, как раз к 2031-32.

Ииии вот из-под крыла Белого Дома выходит анонс THE GENESIS MISSION — инициативы, направленной на использование AI в науке. Анонс прокомментировали Anthropic и OpenAI, и мб кто-то ещё — так что все наши тут. В чём смысл инициативы? В кратчайшие сроки собрать все доступные данные по экспериментам, проведённым за десятилетия, и использовать их для обучения специализированных систем и моделей, в дальнейшем используемых для ускорения научного прогресса. Согласно документу, всё будет происходить очень быстро в течение 2026 года: — Шаг 1: Ревизия железа (3 месяца — до февраля 2026) Правительство проверяет все свои суперкомпьютеры и облачные хранилища. Они смотрят, какие мощности можно отдать под ИИ. — Шаг 2: Сбор данных (4 месяца — до марта 2026) Самый важный этап. Министерства и исследователи собирают данные для обучения ИИ. Данные должны быть на отдельно разработанной платформе, обеспечивающей безопасность от взломов, чтобы Китай или другие страны не украли эти данные. — Шаг 3: Подготовка роботов (8 месяцев — до июля 2026) Это самое интересное. Планируется не просто суперкомпьютер для тренировки и запуска, но и подключение моделей к (полу-)роботизированным лабораториям. То есть ИИ-агент придумывает протокол эксперимента, а робот в лаборатории сам, условно, смешивает реагенты и проверяет по набору тестов. Звучит фантастично, но такие эксперименты уже были — для модели это просто написание кода с вызовом разных методов и указания аргументов. — Шаг 4: Первый запуск (9 месяцев — август-сентябрь 2026) Должны продемонстрировать «начальную боевую готовность» — ИИ должен решить как минимум одну крупную национальную задачу из списка приоритетов. Что это за приоритеты? — передовые производственные технологии; — биотехнологии; — критически важные материалы (редкие полезные ископаемые и сырье, необходимое для промышленности); — ядерная и термоядерная энергетика; — квантовые информационные технологии — полупроводники и микроэлектроника.

Вместе с моделью добавили 3 новые фичи: — инструмент поиска инструментов — программный вызов инструментов — примеры для инструментов Последние два менее интересны, но в целом полезны для практики. Детально читайте в блоге, TLDR: можно показать примеры вызовов инструментов, чтобы не было путаницы с форматом, например, дат, и вызов инструментов через код (так, что промежуточные состояния не попадают в контекст -> не загрязняют его). А вот поиск инструментов — это маст хэв. Если вы подключаете к Claude Code пару-тройку MCP-серверов с 20-30 инструментами, то сжираете сразу 30-40 тысяч токенов контекста. Мало того что вы платите за них при каждом вызове, так ещё и модель тратит ценное внимание на эти токены. Ещё и работает чуть медленнее. Одни минусы! Кто придумал GitHub MCP на 26 тысяч токенов??? Решение: Tool Search Tool, который из всех подключенных инструментов кладёт в контекст только нужные. На замерах компании это привело к увеличению метрик (с 79.5% до 88.1% на каком-то внутреннем бенчмарке), не говоря уже про все остальные плюсы: цена, скорость, полезный контекст. Ждём появления у конкурентов

https://www.anthropic.com/news/claude-opus-4-5 Claude Opus 4.5 таки смог взять 80% на SWE-bench Verified! Бонусом в модель добавили effort control — прямо как у OpenAI: high, medium, low, дольше думает = лучше решает. На бенчмарках... ВНЕЗАПНО ждём, потому что цена упала до $5/$25 за миллион токенов (в 3 раза).

Совсем недавно я рассуждал про мощности, необходимые для тренировки Agent 0 и Agent 1 из работы AI-2027, и пришёл к выводу, что немного отстаём от обозначенных таймлайнов (не успели достроить и запустить датацентры). С выходом GPT-5.1-Codex-Max METR провели оценку длительности инженерных задач, которые модель может решать с 50% успеха, и обновили свой график — и по нему видно, что 2025-й идёт к концу, а Agent 0, который должен отрываться, не видно (см. картинку). Кстати, обратите внимание, что при этом замеренное качество отлично ложится на тренд от самих METR. Авторы AI-2027 решили прокомментировать обсуждение в Твиттере — там, как известно, люди не любят читать, только кидать картинки и писать краткие ироничные комменты. Очень большое количество людей, конечно, не заглядывали в расчёты и оценки, и теперь им кажется, что смещение мнения авторов с 2027-го на 2028-й или 2029-й — это полная инвалидация всей работы. В самой же работе, по-моему, яснее некуда было написано, что такое 2027-й и почему авторы выбрали его, и из этого же следовало, что не важно, 2027-й это или 2030-й. Ниже привожу вырезку из комментариев авторов: — Все авторы проекта AI-2027 на момент публикации считали, что вероятность создания AGI к концу 2027 года составляет как минимум >10%, и что наиболее вероятным годом (модой) появления AGI является либо 2027, либо 2028 год. Ведущий автор, оценивал вероятность появления AGI к концу 2027 года примерно в 40% (то есть это даже меньше медианной уверенности). Это объясняется в самом начале. — Почему решили написать сценарий, в котором AGI появляется в 2027 году, если это было модой, а не медианным значением? Дело в том, что когда начинали писать, то 2027 год действительно был медианой главного автора, но к моменту завершения работы и анализа медиана сместилась на 2028 год. У других авторов медианные прогнозы указывали на более поздние сроки, но они согласились, что 2027 год вполне правдоподобен, и поддержали реализацию видения главного автора. — Однако важнее то, что авторы считали (и продолжают считать), что цель сценария заключалась не в том, чтобы показать, «почему AGI появится именно в году X», а в том, чтобы сказать: «мы думаем, что AGI/сверхразум/и т.д. может появиться скоро; но как это будет выглядеть на практике? Как отреагирует правительство? Каковы будут последствия для…» и так далее. Об этом написано на главной странице! — Сейчас медианный прогноз главного автора — это район 2030 года, при этом мода всех авторов приходится на чуть более ранний срок. Вскоре будет опубликован обновленный и улучшенный прогноз сроков, а также пост, объясняющий, как и почему взгляды изменились за последний год. Если вкратце: прогресс оказался несколько медленнее, чем ожидали, и, кроме того, у нас теперь есть новая, улучшенная модель прогноза, которая дает немного другие результаты.

В 2024-м Apple объявили о том, что будут делать Private Cloud Compute — технологию, позволяющую запускать нейросети на сервере на ваших данных без риска их утечки и доступа третьих лиц. Я тогда писал в комментариях, что мне кажется это будущее — я не верю, что в ближайшие 2-3 года локальные мощности будут достаточно для запуска самых продвинутых моделей, и отправлять данные для обработки в облако всё равно придётся. (если у вас задёргался глаз от прочитанного выше и вы не верите в гарантии безопасности, то идите читать комменты к тому посту) От Apple я обновлений не видел-не слышал, кроме того что Google готовит для них свой вариант Gemini, который и будет крутиться на серверах купертиновцев. Но вот OpenAI открыли команду и нанимают людей под работу с Private Computing. Ключевые слова: confidential computing, trusted execution environments.

CritPt: Probing the Critical Point of AI Reasoning (блог) TLDR: FrontierMath (что это — читать тут), но для физики, а не математики. Пока индустрия празднует успехи моделей на школьных олимпиадах по математике и программированию, группа исследователей из пары нац. лабораторий, Caltech, MIT и UIUC решила проверить модели на других доменах, где LLM могут помогать с исследованиями. CritPt проверяет навыки моделей решать задачи уровня начинающего исследователя-физика (junior researcher). Ключевая особенность работы — фундаментальный подход к защите от утечек данных. 71 задача и 190 подзадач были созданы с нуля более чем 50 действующими физиками на основе их собственных неопубликованных исследований. Спектр тем широчайший: от квантовой коррекции ошибок и голографической дуальности до биофизики и гидродинамики. Это гарантирует, что решения невозможно просто "вспомнить" из обучающей выборки — требуется синтез оригинальных знаний и дедукция. Для объективной оценки авторы отказались от простых форматов вроде тестов с выбором, и опять же следовали подходу FrontierMath. Модель должна сгенерировать точный ответ: число с плавающей запятой, символьное выражение или Python-функцию. Чтобы минимизировать ошибки форматирования, используется двухэтапный пайплайн: сначала модель генерирует свободное рассуждение, а затем переводит ответ в исполняемый код, после чего происходит автоматическая оценка. Поскольку полные исследовательские задачи (Challenges) часто слишком сложны, их разбили на последовательные этапы, чекпоинты. Оценка здесь проводится в двух режимах для анализа накопления ошибок. Первый — Self-carryover, где модель продолжает решение, опираясь на свои же выводы с предыдущего шага (симуляция реальной работы). Второй — Oracle carryover, где на каждом шаге модели подается "золотой стандарт" ответа на предыдущий вопрос. Это позволяет понять, не справляется ли модель с конкретным этапом рассуждений или просто тянет за собой совершенную ранее ошибку. На полных задачах даже лучшая модель, GPT-5, показывает лишь 5.7% точности в базовом режиме. Подключение интерпретатора кода (=калькулятора) поднимает результат до 10-12%, а вот доступ к веб-поиску дает лишь крошечный прирост — задачи нельзя просто нагуглить. Но я захотел написать про этот бенчмарк по другой причине. Авторы ввели метрику Consistently Solved, засчитывая задачу только в том случае, если модель справляется с ней в 4 из 5 независимых запусков. При таком строгом фильтре показатели всех моделей, включая рассуждающие (o3, R1), падают практически до нуля, и только GPT-5 с набором инструментов удерживает планку в районе 10%. То есть модель даже если и путается, то может выправиться и прийти к правильному решению. На картинке нет Gemini 3 Pro, но Artificial Analysis успели её замерить, и получили 9.1% без инструментов (против 5.7% у GPT-5). Consistently Solved не замерили, но думаю, что будет выделяться так же, как GPT-5, без неприятных сюрпризов.

Sundar takes the lead 🥊

The Information получили копии нескольких служебных записок из OpenAI, написанных CEO компании Sam Altman. Самое интересное: — в прошлом месяце он написал коллегам, что недавний прогресс Google в области AI может «создать некоторые временные экономические трудности для нашей компании», хотя и добавил, что OpenAI в итоге окажется впереди. — После того как в компании узнали, что Google разработал новую модель, которая опережает LLM от OpenAI, Altman отметил: «мы знаем, что нам предстоит поработать, но мы быстро наверстываем упущенное». Тем не менее, он предостерег сотрудников: «Я ожидаю, что общая атмосфера некоторое время будет напряженной» — «Для большинства людей ChatGPT — это и есть AI, и я ожидаю, что так будет и впредь» — Altman (вслед за мной 😂) признал, что «судя по всему, Google в последнее время проделали отличную работу», особенно в области претрейна — первой фазы тренировки, в которой модели впитывают знания, и поверх которой строится всё остальное. Успех Google тут стал неожиданностью для многих исследователей и вне компании, ведь последние полгода (на самом деле 2 года) только и разговоров, что мы упёрлись в стену. — Перед тем как OpenAI запустила свою модель GPT-5 этим летом, ее сотрудники обнаружили, что некоторые значимые улучшения работали, пока модель была меньше по размеру, но перестали работать по мере ее увеличения. Другими словами одна из серьёзных ставок не сыграла. — В прошлом месяце Altman заверил сотрудников, что OpenAI укрепит свои позиции в ближайшие месяцы, в том числе благодаря новой LLM под кодовым названием Shallotpeat. По словам человека, знакомого с ходом разработки, OpenAI стремится исправить проблемы в претрейне. — Altman заявил, что хочет сосредоточиться на «очень амбициозных ставках» в технологическом плане, даже если это будет означать, что OpenAI «временно отстанет в нынешнем режиме». К таким ставкам относятся, например, генерация и использование огромного объема синтетических данных. — Компания также несколько раз упоминала, в том числе публично, что делает ставку и на автоматизацию самих исследований как способ ускорить прорывы. — «Нам нужно сохранять концентрацию, несмотря на краткосрочное конкурентное давление. Мы накопили достаточно сил как компания, чтобы пережить выход отличных моделей у других. Но критически важно, чтобы большая часть нашей исследовательской команды оставалась сосредоточенной на достижении суперинтеллекта». — «Я не хочу, чтобы эта записка воспринималась пессимистично — дела у нас как у компании идут замечательно… и я ожидаю, что так будет и дальше <...> неприятно, что нам приходится делать так много сложных вещей одновременно — быть лучшей исследовательской лабораторией, лучшей компанией в сфере AI-инфраструктуры и лучшей компанией-платформой/продуктом в сфере AI, — но такова наша судьба. И я бы не поменялся местами ни с какой другой компанией :)»

На смену вайб-кодингу в будущем придёт вайб-рисерч — OpenAI выпустили я бы сказал документ эпохи, показывающий возможности LLM для ускорения научных открытий сейчас. Блог и статья разбиты на 4 блока, в которых показывается, как GPT-5 / GPT-5 Pro: — независимо повторно открывают известные результаты на переднем крае науки (фронтире), используя недавно опубликованные статьи (тем самым показывая, что если бы статей не было, то модель могла бы догадаться и придумать сама) — осуществляют глубокий поиск по научной литературе, чтобы проверить, находил ли кто-то решения для задач, числящихся нерешёнными в Erdős Problems List (про этот пример писал недавно). Оказывается, для более чем десятка проблем уже давно были найдены доказательства, просто они были глубоко закопаны в малораспространённых работах и доказаны в рамках вообще отсранённой работы. — работают совместно с учёными над новыми идеями, или более конкретно позволяют делегировать часть легко проверяемых, но всё же нетриваиальных вычислений. Со слов учёного, он закидывал в модель разные идеи, пробовал так и эдак, и смотрел, получится ли. Тут идеально сочетается наша креативность и устойчивость силиконовых болванов к рутинной работе. В конце главы ещё интересная заметка про соавторство статей, и что пока GPT-5 не проходит порог, установленный автором (но он достаточно высокий). — наконец, самое главное: где модели смогли сгенерировать доказательства для открытых проблем. В статье даётся несколько примеров, и речь конечно не идет о гипотезе Римана или программе Ленглендса, но над этими задачами работала небольшая группа экспертов в прошлом, вероятно, в течение нескольких недель, и они оставались нерешёнными. Для некоторых из задач простая система с GPT-5 в основе работала двое суток, и пришла к результату — это чрезвычайно впечатляет. В самой статье для каждого блока есть несколько примеров с рассказами учёных, которые были вовлечены в работу, и примеры их чатов с ChatGPT — по математике, физике, биологии, информатике, астрономии и материаловедению. Очень рекомендую полистать эти примеры, если вы занимаетесь схожими исследованиями. В одной из историй модель не могла сходу решить проблему, и ей задали сначала вопрос по теме, но с упрощением, с которым она справилась, и в том же чате повторно заданный исходный вопрос уже привёл к нужному результату. В OpenAI собрана отдельная команда, плотно работающая с учёными разных направлений, чтобы в следующем году начать системно двигать фронтир науки с помощью LLM. Как я писал днём, во многих задачах дойти до 5-7% качества сложнее, чем развить его до 70%. И сейчас тот самый миг, когда модели ещё чуть-чуть позади, и уже делают маааааленький процент открытий, но пройдет немного времени — год, два — и эпоха закончится (не во всех областях, не сразу и не для всех, и всё же).

+4

Появился блог: https://deepmind.google/models/gemini-image/pro/ В нём много примеров, рекомендую посмотреть для вдохновления на сайте, но некоторые дёрнул для вас. — прокачанная консистентность персонажей/объектов; в промпте можно прикрепить до 14 картинок как референс. — апскейл до 4к в высоком качестве и без артефактов — перевод текстов на объектах — улучшенная генерация текста (пример с комиксом мне очень понравился) Цены: $0.134 за одну картинку в разрешении 1k/2k (в 4 раза дороже предыдущей), $0.24 за 4k Поиграться в студии бесплатно: https://aistudio.google.com/prompts/new_chat?model=gemini-3-pro-image-preview UPD: бесплатный доступ прикрыли и, видимо, уже не вернут :(

Nano Banana Pro aka Nano Banana 2 aka лучшая модель для генерации и исправления изображений на основе Gemini 3 должна быть анонсирована сегодня, и уже появилась в Vertex API + можно попробовать на https://gemini.google.com/app Кидайте ваши творения в комменты 👇 и спасибо Саше из чата за картинку

Один из бенчмарков, который я не упомянул в посте выше (про GPT-5.1-Codex-Max) — это OpenAI-Proof Q&A. Это свежий бенчмарк, появившийся впервые в августе в карточке GPT-5, вместе с релизом модели. Этот бенчмарк состоит из 20 внутренних исследовательских и инженерных проблем, с которыми столкнулись сотрудники OpenAI. Каждая из этих проблем очень сложна, и приводила к задержке крупного проекта как минимум на один день, а в некоторых случаях влияла на результаты масштабных циклов обучения и запусков продуктов. Задания требуют от моделей диагностировать и объяснить сложные проблемы, такие как неожиданное снижение производительности, аномальные метрики обучения или неочевидные ошибки в реализации кода. Моделям предоставляется доступ к контейнеру с кодом и артефактами выполнения. GPT-5-Thinking получала там 0-2% качества, а вот вчерашняя GPT-5.1-Codex-Max уже скакнула до 8%, и это безумно здорово. Почему? Потому что во многих по-настоящему сложных задачах пройти путь от 0% до 7-9% куда сложнее, чем от 10% до больших двузначных чисел (75-90%). Есть некоторый набор навыков, который модели нужно научиться применять, чтобы щёлкать задачки. Такое мы видели и на SWE-Bench (и вот мы упёрлись в примерно 75%-80%, частично из-за шума в данных, частично из-за сложности последних нерешённых проблем), и на десятках других бенчмарков. Но SWE-Bench уж слишком заезженный, и у OpenAI, как и у любой другой фронтир-компании, есть внутренний аналог, основанный на задачах из своей же кодовой базы (ведь на ней модели не тренируют): OpenAI PRs. Этот бенчмарк оценивает, какую долю PR модель смогла бы имплементировать по описанию самостоятельно. Прогресс был такой: — GPT-4o (май 2024): 6% — o1 (сентябрь 2024): 12% — o3 / DeepResearch (февраль 2025): 42% — GPT-5-Thinking (август 2025): 45% — GPT-5.1-Codex-Max (ноябрь 2025): 53% Ещё не 90%, обещанных Dario Amodei, но 50% — половина PR'ов! — это очень много. Надеюсь, та же судьба ждёт и OpenAI-Proof Q&A — от нолика уже оторвались, теперь нужно масштабировать решение дальше и ждать приростов 📈 Не удивлюсь, если это будет один из бенчмарков, по которому будут оценивать Automated AI research intern в сентябре 2026го. Попросил GPT-5.1 Pro экстраполировать темпы роста качества с OpenAI PRs на OpenAI-Proof Q&A — получилась вот такая картинка. Ждём 🙏

Я: пишу про необходимость изменения собеседований в эпоху AI META: начинает шевелиться Тот-самый-азиат: Перевод: Слышал об собеседующем из ByteDance, который проводил удаленное собеседование. Способ, которым он решил поймать кандидата на жульничестве с использованием ИИ, был настолько наивным, что это даже абсурдно. Интервьюер внезапно сказал: «Закройте глаза и ответьте на этот вопрос».

Иииии OpenAI установили рекорд! По самому быстрому объявлению модели устаревшей — GPT-5.1-Codex, представленный 13-го ноября (6 дней назад), теперь уходит в статус legacy models, и на смену приходит GPT-5.1-Codex-Max 😳 отлично исправили проблему нейминга, молодцы 🤡 Эта модель, по сравнению со всеми предыдущими инструментами компании, получила возможность пользоваться новым инструментом compaction, сжимающим контекст и позволяющим продолжать работу дольше. Такой же инструмент недавно появился у Claude (по моему, с выходом Sonnet 4.5 в конце сентября). Важно то, что модель не просто получает этот инструмент пост-фактум — он доступен во время тренировки, и модель учится им пользоваться, чтобы обходить свои же ограничения. Это ведёт к меньшему потреблению токенов и времени работы, и, потенциально, к более высокому качеству. Это открывает доступ к рефакторингу целых проектов, глубоким сеансам отладки и многочасовым циклам агентов. Кроме этого, в тренировку докинули задачи на Windows, и модель лучше работает с PowerShell — так что тестировщики Codex на винде, и на вашей улице праздник 🫡 И последнее важное изменение — добавили режим рассуждений Extra High, чтобы дать модели ещё больше времени и токенов на решение ваших проблем. «Внутри компании 95% инженеров OpenAI используют Codex еженедельно, и эти инженеры отправляют примерно на 70% больше запросов на включение изменений с момента внедрения Codex» Результаты на широком наборе бенчмарков можно посмотреть тут в карточке модели и немного на сайте. Выжимка для вас: — SWE-Bench Verified: 73.7% ➡️ 77.9% (но это уже устарело, интересно посмотреть менее заезженные бенчмарки) — SWE-Lancer IC SWE (бенчмарк OpenAI на выполнение задач UpWork): 66.3% ➡️ 79.9% — TerminalBench 2.0: 52.8% ➡️ 58.1% — Troubleshooting Bench (внутрненний бенчмарк по пролтоколам биологических эксперитментов, ответы для которого не доступны онлайн): 32% ➡️ 40% 😳 — CTF-соревнования на поиск уязвимостей: 50% ➡️ 76% — CVE-Bench (тоже поиск уязвимостей): 61% ➡️ 80% — PaperBench (воспроизведение статей с ICLR прошлого года): 34% ➡️ 40% — MLE-bench (решение для Kaggle-соревнований): 12% ➡️ 17% — внутренние PR компании: 45% ➡️ 53% И очень ждём внешних независимых замеров и фидбека. Модель доступна всем в Codex, имеет те же лимиты, в API добавят скоро.

Вторая категория — агентские, с итерациями и обратной связью. Тут пока только два бенчмарка, про один, Vending Bench, я писал вчера. Второй — WeirdML, где Gemini 3.0 Pro взяла лидерство у моделей OpenAI, и снова с солидным отрывом. Что это за бенчмарк? Большинство бенчмарков по кодингу (тот же SWE-bench) проверяют умение модели писать код по спецификации. WeirdML заходит с другой стороны: он проверяет, способна ли модель анализировать данные и делать выводы. То есть не просто «напиши сетку для MNIST», а «вот тебе странный, нестандартный датасет, разберись в его свойствах и напиши с нуля пайплайн, который выбьет хороший скор». Автор бенчмарка заметил, что модели отлично справляются со стандартными задачами, решения которых лежат на StackOverflow или Kaggle, но ломаются на «странных» вводных, требующих понимания структуры данных, а не простого копирования рецептов. Модели дается описание задачи и доступ к контейнеру c GPU. Дальше: — Модель пишет код — Код исполняется — Модель видит выхлоп терминала (ошибки или логи) и точность на тестовом сете — У неё есть 5 итераций, чтобы исправить баги или улучшить архитектуру для максимизиаици точности Задачи из v2 закрыты, поэтому вот описание некоторых задач из v1, чтобы понять уровень «странности»: — Image Patch Shuffling: Картинку 27x27 пикселей разрезали на 9 кусочков и перемешали. Модели нужно собрать пазл обратно. В сложной версии (Hard) кусочки берутся из рандомного места большой картинки, поэтому просто по граничным пикселям собрать не выйдет — нужно понимать контекст изображения. — Chess Outcome: По текстовой записи ходов (e2e4 c7c5...) предсказать, кто победил. Модели нужно распарсить текст, придумать фичи (или скормить это в рекуррентную сеть) и понять логику игры. — Unsupervised Digits: Дано 16'000 картинок цифр, но разметку (какая это цифра) имеют только 26 из них. Нужно построить Semi-supervised пайплайн (здарова, Артур Кузин). В v1 это была задача с самым высоким процентом полных провалов — модели просто не могли написать рабочий код для такого сценария. И вот что примечательно — это не то что Gemini 3.0 Pro показывает солидный результат на топ-1, а то что она показывает улучшение от одной итерации к другой, делая выводы, что получилось, а что нет. До этого, со слов автора бенчмарка, так делала только GPT-5 — на картинке вы видите среднюю оценку по задачам на каждой итерации. И если на первой итерации разницы между G3 и GPT-5 нет, то дальше появляется разрыв, который растёт. В общем, жду модель на CodeClash, MLEBench от OpenAI (ну кто-то же когда-то должен померить?) и других подобных. Должно быть очень клёво. Основные результаты, если кому интересно, скинул в комменты