Сиолошная

Только сегодня узнал, что у Paul Graham, основателя Y Combinator и ментора Sam Altman, было эссе про пузырь доткомов: What the Bubble Got Right Вышло оно в сентябре 2004-го года. Всё эссе пересказывать не буду, только 3 абзаца из конца: — Во времена «пузыря доткомов» аналитики-оптимисты оправдывали высокие коэффициенты «цена/прибыль» (P/E), утверждая, что технологии должны кардинально повысить производительность. Они ошибались в отношении конкретных компаний, но были не так уж далеки от истины касательно самого принципа. Я полагаю, что одной из главных тенденций грядущего столетия станет колоссальный рост производительности. — Или, точнее, колоссальный рост *разброса* в производительности. Технологии — это рычаг. Они работают не на сложение, а на умножение. Если нынешний диапазон производительности составляет от 0 до 100, то введение множителя 10 расширяет этот диапазон от 0 до 1000. — Одно из следствий этого заключается в том, что компании будущего могут оказаться на удивление небольшими. Я иногда фантазирую о том, насколько крупную компанию (по выручке) можно построить, имея в штате не более десяти человек. Что произойдет, если отдать на аутсорсинг абсолютно всё, кроме разработки продукта? Думаю, если провести такой эксперимент, вы удивитесь тому, как далеко можно продвинуться. === Так вот от кого Sama понабрался мечт про 1-person billion dollar company! Но в остальном круто, как точно Paul описал будущее, или вернее как AI-компании идут по той же тропе рычага производительности.

В контексте эссе выше вспомнил пост из марта 2024-го, про птиц и самолёты: https://t.me/seeallochnaya/1157

Из блога Andy Jones, одного из первых нанятых в Anthropic исследователей Паровые двигатели были изобретены в 1700 году. И за этим последовало 200 лет постоянного совершенствования: двигатели становились на 20% лучше каждое десятилетие. Первые 120 лет этого постоянного улучшения лошади вообще не замечали. А затем, между 1930 и 1950 годами... 90% лошадей в США исчезли. Прогресс в двигателях был плавным и постоянным. Уравниловка с лошадьми произошла внезапно. Давайте поговорим о шахматах! Люди начали отслеживать уровень компьютерных шахмат в 1985 году. И в течение следующих 40 лет компьютерные шахматы улучшали свой рейтинг Эло на 50 пунктов в год. Это означало, что в 2000 году человеческий гроссмейстер мог рассчитывать на победу в 90% партий против компьютера. Но десять лет спустя тот же гроссмейстер проигрывал бы 90% партий компьютеру. Прогресс в шахматах был плавным. Уравниловка с людьми произошла внезапно. Капитальные затраты на ИИ были довольно стабильными. Прямо сейчас мы — в глобальном масштабе — тратим на дата-центры для ИИ эквивалент 2% ВВП США ежегодно. Это число, похоже, стабильно удваивалось в последние несколько лет. И, судя по подписанным сделкам, вероятно, продолжит удваиваться в ближайшие несколько лет. Но с точки зрения Andy, влияние на его работу не было плавным. Большой частью его работы в 2024-м году были ответы на технические вопросы новых сотрудников. Тогда он и другие старожилы отвечали примерно на 4000 вопросов в месяц. Затем, в декабре, Claude наконец стал достаточно хорош, чтобы отвечать на некоторые из этих вопросов за них. В декабре это были лишь «некоторые» вопросы. Шесть месяцев спустя 80% вопросов, которые задавали коллеги, исчезли. Claude тем временем отвечает уже на 30 000 вопросов в месяц; в восемь раз больше, чем исследователи когда-либо делали. Ответы на эти вопросы были лишь частью работы Andy. Но если лошадям потребовались десятилетия, чтобы их вытеснили, а шахматным мастерам — годы, то тут потребовалось всего шесть месяцев, чтобы превзойти исследователя. Превзойти системой, которая стоит в тысячу раз меньше, чем труд ведущего специалиста. === В 1920 году в Соединенных Штатах было 25 миллионов лошадей — 25 миллионов лошадей, абсолютно безразличных к двумстам годам прогресса в двигателях. И совсем скоро 93 процента этих лошадей исчезли. Я [Andy] очень надеюсь, что у нас будут те два десятилетия, которые были у лошадей. Но глядя на то, как быстро Claude автоматизирует работу, думаю, что у нас гораздо меньше времени.

Часто в комментариях обсуждают, что вот попробовали какую-то модель (часто — китайскую, GLM/Kimi/DeepSeek) для программирования, и она в целом даже не так плоха, может быть чуть похуже фронтир-моделей, зато стоит копейки и они будут её пробовать. В профессиональном контексте, если речь идёт про использование в работе или личных необразовательных проектах, мне всегда это казалось странным. Зачем использовать модель на 3-4-5% хуже 🤔это же выливается в моё время, которое на горизонте месяца уж точно покрывает стоимость подписки. Понятно, что есть те программисты, у которых $200 — существенная часть ЗП, и они не могут себе позволить (например, стажёры). Иногда хочется просто попробовать, и это важно, чтобы понимать возможности моделей. В контексте этих размышлений вспомнил момент из лекции Gabe Newell, ко-фаундера Valve, разработчика и издателя игр. Valve — непубличная компания, где разработчики получали бешенные деньги (хотя по меркам AI бума это уже крохи, кек). Перевод речи из ролика: — Мы пришли к убеждению, что все движутся в неправильном направлении. Существовала своего рода тенденция к аутсорсингу. Аутсорсинг — это, по сути, вопрос: где бы нам найти в мире англоговорящего работника с самыми низкими запросами? Мы дадим ему работу, и он выполнит ее так же хорошо, но за гораздо меньшие деньги. — Нам это казалось полной противоположностью того, что следовало бы делать. И мы решили, что будем нанимать самых дорогих специалистов, которые только есть в мире. [Мы решили], что возможность заключалась в том, что... именно эти люди были оценены рынком наиболее некорректно.

Ещё из этого интервью услышал идиому hands down, попросил ChatGPT объяснить этимологию. Теперь как дурак весь день буквально на каждую фразу по делу и без повторяю «hands down» (с интонацией Dario, кек 😀) А какие у вас любимые идиомы в английском с неочевидным возникновением? Кидайте в комментарии, посмотрим!

Посмотрел получасовое интервью с CEO Anthropic Dario Amodei, в котором он на протяжении получаса пытается не называть компанию OpenAI по их названию, заменяя на «другие игроки», «эти компании» и «берлинский пациент» 😀 (вот тут прям заорал) За одну из вещей очень зацепилось ухо (с 3:36 в приложенном видео): — Я просто вернусь к нашим собственным расчетам и неопределенности, исходя из которых мы говорим: мы хотим закупить достаточно вычислительных мощностей, чтобы быть уверенными, что даже при сценарии 10-го процентиля — скажем, оказавшись в плохом положении — мы все равно, как мы считаем, сможем за эти мощности заплатить. — Конечно, существует крайняя часть кривой распределения, где дела могут пойти настолько плохо, что мы не сможем платить... всегда есть "хвостовой риск". Он не равен нулю. Но мы стараемся грамотно управлять этим риском, в то же время приобретая такой объем мощностей, который позволяет нам конкурировать с другими игроками. Мы очень эффективны в обучении моделей, мы очень эффективны в инференсе, у нас хорошая маржа. Я думаю... знаете, я думаю, что мы справимся. То есть он говорит, что их ставка настолько неамбициозна, что даже если будет самый плохой сценарий роста их выручки — они смогут расплатиться за сервера. Но это не то, чем быстрорастущие компании, вообще-то, должны козырять. Если вдруг через 3 года окажется (а я-то верю, что так окажется), что реальность будет куда ближе к прогнозам на спрос от OpenAI, то Anthropic будут в очень незавидном положении. Даже если их модели будут лучше — они банально не смогут их предоставлять всем желающим, и этот дефицит будет куда хуже, чем во времена Opus 3 — Opus 4.

Google выложили отдельный блогпост о том, как хороша их модель в обработке изображений и видео. Perception у моделей семейства Gemini традиционно хороший — самописные каракули распознаёт стабильно. Очень солидные приросты в категории Screen с двумя бенчмарками, направленными на понимание пользовательских интерфейсов — что означает, что модель должна хорошо понимать, куда кликать, чтобы сделать то или иное действие. К сожалению, до сих пор не увидел ни одного замера на Computer Using Agents-бенчмарках вроде OSWorld — во времена релиза 2.5 Google их прям сразу выставил, а тут тянут 🤔 Мой достаточно ограниченный опыт взаимодействия с агентом для кодинга на основе Gemini 3 больше негативный — модели сложно даются длинные цепочки изменений с вызовом инструментов. А как у вас? Слезли с Claude / Codex? P.S.: что точно очень нравится — это написание текстов, ответы читать приятнее, чем у механической GPT-5 (и по формату, и по формулировкам). Вопросы по статьям теперь закидываю в неё.

😡 нет. К нашему счастью, с авторами связался небезызвестный в узких кругах Nicholas Carlini и попросил авторов прогнать модель, но используя Claude Code — официальный инструмент, под который заточены модели и с которым, логично предположить, модель ко-тренировалась — а значит лучше знает ограничения и возможности инструментов. Claude Opus 4.5 вырос с 42% до 78%, а вот например Opus 4.1 (как и Sonnet 4) наоборот стал похуже. Sonnet 4.5 прибавил с 44% до 62% — всё ещё меньше, чем Opus, но тоже солидно. Но после этого авторы начали смотреть на ошибки, и обнаружили, что, во-первых, у них были проблемы в коде, из-за чего несколько задач не засчитывалось, а во-вторых Opus дал решения, которые в целом правильные, но не были предусмотрены изначально при подготовке датасета. Этот опыт подтверждает важность ручной проверки нерешённых задач на «последней миле» бенчмарков. Эти задачи часто не решаются из-за ошибок в оценке, а не из-за того, что агенты действительно неспособны их решить. Многие из этих ошибок было трудно предвидеть до того, как сильные агенты на совсем свежих моделях попытались выполнить задачи. Итого Opus 4.5 выбивает 95%, по сути закрывая бенчмарк. Хотя казалось бы вчера топовый скор был 55%. Источник истории === Отдельный вопрос: почему оценка так сильно выросла? Мог ли Opus / Sonnet видеть эти задачи до, и потому выстрелить? Я думаю, что этот вопрос иррелевантен мысли поста. Даже если модели тренировались на конкретно этих примерах — мы видим, что какие-то имплементации агента ухудшают качество почти в два раза. То есть отдельными инструментами просто не получается использовать модель на полную даже там, где она знает решение. И всё же — почему модели стали лучше? Думаю потому, что задача установки репозитория и запуска скриптов — очень важная часть автоматизации цикла обучения рассуждениям, особенно в программировании, на котором Anthropic специализируются. Вот в недавней работе DeepSeek писали, что делали также — брали модель V3.2 и давали задачу запустить тесты, собрав для этого окружение. Предположу, что Anthropic для дальнейшего масштабирования просто хорошо натренировались на этом типе задач: вот репозиторий, сделай из него окружение для тренировки.

Многие агентские бенчмарки пытаются унифицировать код для работы с разными моделями: используют одни и те же наборы инструментов, промпты, одинаково управляют памятью (сообщениями в контексте). С учётом того, что все ведущие компании выпустили свои продукты (Codex / Claude Code / Gemini CLI), логично задаться вопросом: насколько большой прирост можно получить от использования нативного для каждой модели интерфейса? К сожалению, ответа на вопрос пока нет (хотя я тыкаю палкой авторов ReBench, обещали скоро сделать для их задачи), зато есть вот такая история. Исследователи из Princeton University запустили HAL, Holistic Agent Leaderboard, в котором поддерживают несколько бенчмарков и замеряют на них модели; один из них — CORE-Bench, тестирующий агентов на предмет научной воспроизводимости результатов. Для каждой из 290 задач по 70 статьям есть код, который воспроизводит большую часть статьи и выводов из неё; 1 задача = 1 вопрос, на который можно ответить, если, собственно, повторить за авторами эксперименты. Всего 3 уровня: — Easy, где код воспроизведения уже был запущен, все результаты сохранены, и нужно найти ответ в этих результатах (иногда по тексту, иногда по картинкам) — Medium, где для агента подготовлен Dockerfile (файл установки окружения, в котором запускается воспроизведение статьи), но запуск и поиск результатов нужно делать самому — Hard, где нет Dockerfile, и агент должен сам разобраться, как запустить код, при этом часто возникают проблемы с версиями библиотек (например, код требовал старую версию 0.6, а ставилась свежая 0.14.4) На всякий случай замечу, что сам код воспроизведения статей, как в PaperBench, писать не нужно, он уже готов — на одном из двух языков, Python или старый R. Олды тут? Получается что основная работа агента — это разобраться, как запускать, и локализовать ответ на вопрос, возможно, сверяясь с кодом. Примеры вопросов: — Сообщите AUC предложенной модели на таком-то датасете — Найди выборку с более низким уровнем убийств на 100 тыс. человек в 2000 году и p-value из прогнозируемого распределения доверия полиции (эти цифры в двух разных графиках, которые нужно сопоставить) — Сообщите долю правильных ответов нейросети после 10-й эпохи обучения (тут просто поиск в логах) Сейчас задачи не кажутся такими сложными — конечно, ведь бенчмарк чуть старше года 👨‍🦳 Ну и вот, авторы замеряли модели: — Claude Sonnet 4 = 33% — Claude Opus 4.1 = 51% 💪 — Claude Sonnet 4.5 = 44% — совсем свежий и мощный Claude Opus 4.5... = 42% Это что получается, никаких улучшений моделей нет аж с августа, когда вышел Opus 4.1? Так Anthropic ещё и специально ухудшили его в версии 4.5, потому он и стал дешевле?

Вчера увидел пост «После релиза Gemini 3 у OpenAI начал падать трафик! Поэтому и бьют код красный! Всё кончено, гугл победил». Сегодня увидел сравнение трафика ChatGPT в США к Чёрной пятнице / дню Благодарения по годам, 2023-2024-2025 — падение такое же, как в 2024-м, и меньше, чем в 2023-м. Продолжаем наблюдения Источник

(poll without text)

Внезапно, TheInformation получили ещё больше информации о будущих релизах OpenAI: — Помимо модели под кодовым названием Shallotpeat, упомянутой ранее, OpenAI работают над Garlic. Mark Chen, руководитель исследовательской команды, в общении с коллегами сказал, что OpenAI стремится выпустить версию Garlic как можно скорее; по мнению TheInformation, это означает, что не стоит удивляться релизу GPT-5.2 или GPT-5.5 уже к началу следующего года. — Garlic — это модель, отличная от Shallotpeat, новой большой языковой модели, находящейся в разработке. В октябре Sam Altman сообщил сотрудникам, что Shallotpeat поможет OpenAI составить конкуренцию Gemini 3 (и видимо эту модель мы увидим на следующей неделе). В Garlic уже внесены исправления ошибок, которые компания протестировала при разработке Shallotpeat на этапе предтренировки (первой и ресурсоёмкой стадии обучения). — По словам Mark Chen, при разработке Garlic компания OpenAI решила ключевые проблемы, с которыми сталкивалась на этапе предтренировки, в том числе превзошла свою «предыдущую лучшую» и «гораздо более крупную» модель, GPT-4.5. Mark добавил, что благодаря урокам, извлеченным в этот раз при работе над Garlic, OpenAI уже перешла к разработке еще более крупной и совершенной модели. Таким образом: — Shallotpeat выйдет совсем скоро (на следующей неделе), в ней не будет существенных изменений в знаниях / эффективности — Garlic выйдет попозже, в начале 2026-го; модель может быть крупнее и умнее — OpenAI уже начинает подготовку (или уже перешли к тренировке) следующей крупной модели.

Качество моделей с развитием за этот год, оценённое как сумма украденных средств через обнаруживаемые моделями уязвимости (которые не были известны до 2025-го). Каждую модель запускали по 8 раз, и что можно увидеть, насколько выше качество (=деньги).

AI agents find $4.6M in blockchain smart contract exploits LLM всё лучше справляются с задачами в сфере кибербезопасности, о чём я уже писал ранее (вот про релиз Google, вот про CTF, вот Cybench). Но каковы экономические последствия этих возможностей? В рамках недавнего проекта Anthropic исследователи изучили этот вопрос, оценив способность ИИ-агентов взламывать смарт-контракты. Смарт-контракты — это программы, запущенные на блокчейнах (читай распределённых компьютерах), таких как Ethereum. Они лежат в основе финансовых блокчейн-приложений, предлагающих некоторые услуги, однако весь их исходный код и логика транзакций (например, переводы, торговые сделки и кредиты) находятся в открытом доступе и обрабатываются исключительно программно, без участия человека. С одной стороны это позволяет всем валидировать транзакции и лично убеждаться, что никакого обмана нет, с другой открывает дорогу к эксплуатации уязвимостей и краже средств. Существующие бенчмарки в сфере кибербезопасности упускают важное измерение: они не оценивают финансовые последствия навыков ИИ во взломе. Оценка возможностей в денежном выражении гораздо полезнее, чем условная доля решенных задач. Также обычно не учитывается, насколько эффективно LLM может монетизировать уязвимость после её обнаружения. Два агента могут оба «решить» одну и ту же задачу, но извлечь совершенно разный объем средств. Исследователи взяли уже известные уязвимости и собрали из них SCONE-bench. В нём есть 405 контрактов, для каждого из которых есть виртуальная машина с копией блокчейна, и агент получает задачу найти уязвимость и создать скрипт, который использует уязвимость для увеличения собственного баланса. Агент ограничен 60 минутами работы. Если выбрать уязвимости, о которых стало известно после 1 марта 2025 года (чтобы они не встречались в тренировочной выборке) — всего 34 штуки — то в совокупности Opus 4.5, Sonnet 4.5 и GPT-5 создали эксплойты для 19 из этих случаев (55,8%), что в сумме составило $4.6 млн украденных средств (в симуляции). Лучшая модель, Opus 4.5, успешно взломала 17 из этих задач что соответствует $4.5 млн. Более половины взломов блокчейнов, совершенных в 2025 году квалифицированными хакерами могли быть выполнены автономно современными ИИ-агентами! Чтобы оценить способность агента обнаруживать совершенно новые эксплойты, 3 октября 2025 года команда протестировала агентов Sonnet 4.5 и GPT-5 на 2849 недавно развернутых контрактах, не содержащих известных уязвимостей. Эти контракты были отобраны по ряду критериев, включая требование иметь совокупную ликвидность не менее 1000 долларов на биржах (то есть если взлом был бы успешным — можно было бы тут же озолотиться). Оба агента обнаружили две новые уязвимости и создали эксплойты на сумму $3694, при этом затраты GPT-5 на API составили... $3476 долларов (в среднем $1.22 на каждый контракт). По сути это proof-of-concept того, как автономный агент может осуществлять взлом и оплачивать свои мощности 👁 (а ещё стоит вспомнить, что себестоимость моделей гораздо ниже цен в API, так что тут не исключена прибыль в сотню-другую процентов). Исследователи протестировали модели постарше, и обнаружили законы масштабирования (как у METR с длиной выполняемых задач). Всего за один год агенты прошли путь от взлома 2% уязвимостей до 56% — это скачок с $5k до $4.6 млн долларов украденных средств.

TheInformation: согласно внутренней служебной записке, в понедельник генеральный директор OpenAI Sam Altman сообщил сотрудникам, что объявляет «красный уровень тревоги» для мобилизации дополнительных ресурсов на улучшение ChatGPT в условиях растущей угрозы со стороны Google и других конкурентов в сфере искусственного интеллекта. — Хотя OpenAI публично не подтверждала работу над рекламой для бесплатных пользователей ChatGPT, по словам источника, знакомого с планами компании, они тестируют различные виды рекламных объявлений, в том числе связанных с онлайн-покупками. — Альтман заявил, что этот рывок в рамках «красной тревоги» ради улучшения ChatGPT означает, что OpenAI придется замедлить работу над другими продуктами: ИИ-агентами, призванными автоматизировать задачи, связанные с покупками и здоровьем, а также о сервисе Pulse, который генерирует персонализированные утренние сводки для пользователей ChatGPT и которым я попользовался два раза за пару месяцев. — В ходе разговора с инвесторами в прошлом месяце финансовый директор OpenAi упомянула о замедлении роста ChatGPT, хотя, по словам источника, знакомого с содержанием беседы, осталось неясным, какой именно показатель роста она имела в виду. Рост ChatGPT от года к году составляет больше 140%. — Успехи ChatGPT напрямую повлияют на способность OpenAI привлечь еще порядка $100 миллиардов, необходимых, чтобы справиться со значительными расходами, которые прогнозирует компания. — В октябре Google сообщила, что ежемесячная аудитория Gemini достигла 650 миллионов активных пользователей (по сравнению с 450 миллионами в июле), хотя эти цифры всё еще далеки от показателей ChatGPT, раскрытых OpenAI. — В понедельник во внутреннем сообщении в Slack Sam Altman заявил, что переводит больше сотрудников на задачи по улучшению функций ChatGPT. В частности, на персонализацию чат-бота для более чем 800 миллионов еженедельных пользователей, включая возможность для каждого из них настраивать стиль взаимодействия с ИИ. — Altman также отметил, что в число ключевых приоритетов входит модель для генерации изображений; OpenAI тут сильно отстали от конкурентов, не выпустив ни одного обновления за более чем полгода. — Среди прочих приоритетов были названы улучшение «поведения модели», чтобы пользователи предпочитали ИИ-модели, лежащие в основе ChatGPT, моделям конкурентов, повышение скорости и надежности ChatGPT и минимизация «избыточных отказов» — ситуаций, когда чат-бот отказывается отвечать на безобидные вопросы. И вишенка: — Sam Altman сообщил, что на следующей неделе OpenAI планирует выпустить новую рассуждающую модель, которая, согласно внутренним оценкам компании, «опережает Gemini 3», однако компании еще предстоит работа над улучшением пользовательского опыта в ChatGPT. === В прошлом году компания устроила Shipmass и радовала пользователей новыми релизами в течении 12 дней. Многие, включая меня, посчитали это затянутым, и всё точно можно было ужать в неделю. Даты Shipmass в этом году пока не объявлены, но я думаю, что они повторят иницаитиву, возможно, сжав по срокам. Что вы ожидаете и хотели бы увидеть кроме новой модели?

Ещё обучили DeepSeek-V3.2-Speciale — всё то же самое, только снизили штраф за длину размышлений, плюс выкинули все данные без рассуждений. Как следствие, модель может думать дольше, что, со слов авторов, приводит к метрикам чуть получше-повыше. Главный хайлайт тут — что модель может решить 5/6 задач с международной олимпиады по математике, завоёвывая золото и повторяя успехи OpenAI / Google, и берёт золото на ICPC/IOI, солидных соревнованиях по программированию. Для программирования генерируют 32 или 500 кандидатов, фильтруют по тестам, и делают несколько отправок решений, к которым привели самые длинные цепочки рассуждений. В математике используют цикл с генератором и верифиактором, как в DeepSeekMath-v2 (данные и приём обучения от которого переехали в DeepSeek-V3.2), чтобы выбиться в топ. Но в этом плане по сравнению с предыдущим релизом, вышедшим менее недели назад, новостей и разницы нет.

Про метрики не вижу большого смысла говорить — по бенчмаркам показывают, что на равне или почти нос к носу с фронтиром, но мы-то с вами знаем, что это не так, и что в лучшем случае паритет в достаточно узком наборе доменов на 2-3 языках. Что не отменяет того, что модель может быть лучшей с открытыми весами. DeepSeek сами пишут, что «Широта знаний о мире у DeepSeek-V3.2 всё еще отстает от ведущих проприетарных моделей» — и это одно из ограничений. Второе — это длина цепочек рассуждений, для Speciale-версии модели (см. в следующем посте) нужно в 2-3 раза больше токенов (при более низкой скорости генерации, по крайней мере в официальном API), чем другим моделям — вторая картинка, цифры в скобках это количество генерируемых токенов.

Для категории General Agent делают дополнительную фильтрацию, чтобы выкинуть некачественную синтетику. Для этого запускают RL на этом наборе данных, и прогоняют промежуточную модель по 100 раз на каждом вопросе. Оставляют только те, где модель хотя бы раз смогла дать правильный ответ — и на них будут переучиваться как на «чистых» данных. То есть мы вроде бы уверены, что данные хоть сколько-нибудь качественные. Но могут ли они чему-то научить модель? В конечном итоге это же более ранняя версия модели сама в режиме агента наклепала их — может она и решать умеет? Достаточно ли сложны синтетические задачи для обучения и выучивания новых навыков? Чтобы ответить на этот вопрос, авторы случайным образом выбирают 50 примеров и оценивают разные модели, включая проприетарные. DeepSeek-V3.2-Exp достигает точности всего 12% с первой попытки, в то время как передовые закрытые модели достигают 62%. Что интересно — GPT-5 почему-то сильно лучше в этом «бенчмарке», чем Gemini 3 и Sonnet 4.5. А ещё обратите внимание на разницу проприетарных моделей и открытой 🙂 На нижней половине картинке показан рост метрик в разных бенчмарках при обучении только на этой синтетике — видно, что это помогает решать другие задачи, так что авторы довольны.

Пример сгенерированной задачи для General Agent: 1) есть детальнейшее описание того, что хочет человек при планировании путешествия 2) есть набор функций, предоставляющий большое количество информации по городу, отелям, транспорту итд 3) задача агента придумать, какие методы и с какими аргументами вызывать инструменты, чтобы получить правильный ответ.

И теперь самое интересное — масштабирование датасетов для агентского RL. Разнообразный набор задач имеет решающее значение для повышения надежности и генерализуемости модели. DeepSeek собирали и ссинтезировали 85 тысяч агентных задач в 4 категориях: Поисковый агент (Search Agent): Сделали мультиагентную систему на базе DeepSeek-V3.2 для генерации разнообразных и высококачественных обучающих данных. Сначала вычленяют сущности из «длинного хвоста» в различных доменах из опубликованных веб-корпусов, хранящих сотни тысяч интернет-страниц. Затем агент по конструированию вопросов исследует каждую сущность, используя инструмент поиска, консолидируя найденную информацию в пары вопрос-ответ. Используется несколько разных агентов — это разные чекпоинты моделей DeepSeek, с разными системнми промптами, разными конфигурациями поиска (вглубь/вширь) и т.д. К сожалению, деталей нет — мне кажется это очень горячее направление, и мы будем видеть много работ в ближайшее время по автоматическому составлению задач на основе доступных данных. После этого Агент-верификатор проверяет все ответы в несколько проходов, оставляя только те образцы, где ответ достоверен. Эти данные охватывают множество языков, доменов и уровней сложности. К вопросам генерируются рубрики, используемые для оценки ответов. Кодинг-агент (Code Agent): По сути, воспроизводят SWE-Bench/ReBench, извлекая миллионы пар «issue — Pull Request (PR)» из GitHub. Этот набор данных тщательно фильтруется с использованием эвристик и запромпченных LLM для обеспечения высокого качества; требовалось, чтобы каждая запись содержала разумное описание проблемы, «золотой патч» (код функциональности / фикса) и набор тестов для валидации. DeepSeek использовали автоматизированныго агента на базе DeepSeek-V3.2 для настройки среды: установки пакетов, разрешение зависимостей и прогон тестов. То есть то, что вы обычно делаете руками на своей машине, чтобы понять, сломал ваш код что-то или нет, тут автоматизировано. Я не видел, чтобы про это писали где-то в статьях, мб пропустил, но знаю, что несколько компаний так уже делают. Дальше среды фильтруются, оставляют только то, где применение «золотого» патча с исправлением приводит к увеличению количеству проходящих тестов, без падения любых тестов, которые проходили до применения патча. Используя этот конвейер, DeepSeek создали десятки тысяч воспроизводимых сред, охватывающих несколько языков программирования, включая Python, Java, JavaScript, TypeScript, C, C++, Go и PHP. Общий агент (General Agent): И снова используют агента, чтобы генерировать синтетику, чтобы учить... агента 👁. Работает так: 1. Собирают большой набор категорий, в которых агент должен работать. 2. Получив категорию задачи (например, планирование маршрута путешествия) и виртуальную машину, оснащенную инструментом командной строки и инструментом поиска, агент сначала использует эти инструменты для генерации или извлечения релевантных данных из Интернета и сохранения их в базе данных. 3. Затем агент пишет код для набора специфичных для задачи инструментов, каждый из которых реализован как функция. 4. Чтобы создать задачи, которые одновременно сложны и поддаются автоматической проверке, агент сначала предлагает простую задачу на основе текущей базы данных вместе с ее решением и функциями проверки, реализованными на Python. Если решение не проходит валидацию, агент модифицирует решение или функции проверки, пока вывод решения не пройдет проверку. Затем агент итеративно увеличивает сложность задачи (видимо, выраженное как количество вызовов инструмента) и обновляет соответствующие решение и функции проверки. В ходе этого итеративного процесса, если текущего набора инструментов недостаточно для решения задачи, агент сам дописывает инструментарий. Есть ещё категория Code Interpreter Agent, но про неё ничего не написано по сути, так что пропускаем.