Сиолошная

Помните я писал про то, что Epoch.AI завели и сделали публично доступной трекер крупнейших дата-центров, которые уже сдали или сдадут в скором времени? Peter Gostev визуализировал суммарные мощности по месяцам в разрезе компаний. На начало 2025-го года топ-1 занимали Google, обгоняя OpenAI более чем в 7 раз. xAI после запуска Colossus-1 вышли на второе место, даже обгоняя META. Но так как в базу заносятся только отдельные крупные ДЦ, то нельзя сказать, что тут сделан полный учёт — у Anthropic и Microsoft было вообще по нулям, что, конечно же, неправда. Заканчивать 2025-й в лидирующей позиции будут... Anthropic, которые совсем недавно получили новый ДЦ в своё распоряжение. Вплотную с ними идут Google и OpenAI, META всё ещё отстаёт от xAI 😳 По плану, в апреле 2026-го OpenAI получат в своё распоряжение Fairwater Mount в штате Висконсин. С этого момента они не будут уступать первое место до конца инфографики — февраль 2028-го, и закончат этот период с невероятным отрывом (если все планы сбудутся, в чём я сомневаюсь — но и у других игроков часть вычислительных мощностей может поступить позже). Чтобы вы понимали масштаб: — 2025-й начался со ~100 МВт для OpenAI, а закончат с чуть менее чем ГигаВаттом — рост в 10 раз. Модели, которые будут обучать на части нового компьюта мы ещё не видели (хотя быть может часть дообучения 5.2 уже была на Stargate, такой слух ходит) — в августе 2026-го эта цифра вырастет почти в 3 раза(!), и к концу года мы, быть может, увидим какие-то гигантские модели/системы — к весне 2028-го цифра увеличится ещё в 3 раза. В относительных величинах не так впечатляет, но это будет больше, чем у 2 и 3 игроков — META и Anthropic — вместе взятых. Источник

Наконец-то доехал новогодний подарок от OpenAI — лонгслив к десятилетию компании. Был доступен очень маленькое количество времени в официально запущенном магазине мерча. Ещё дали 3 наклейки, включая ЛЕГЕНДАРНЫЙ СИНИЙ СТУЛ. Here's to 10 more 🫡

Terence Tao, «Моцарт от мира математики», завёл страничку на GitHub, где отслеживает решение задач из списка Эрдёша (считающиеся нерешёнными проблемы) с помощью ИИ-инструментов. Как он сам пишет, сложность задач сильно различается: на одном конце спектра находится кучка ​​очень интересных, но чрезвычайно сложных проблем, а на другом — «длинный хвост» малоизученных проблем, многие из которых являются относительно легкодоступными, идеально подходящими для решения с помощью современных ИИ-инструментов. Некоторые из задач уже были решены в литературе, но об этом почти никто не знал — например, когда какое-то утверждение доказывали в ходе совсем другого доказательства, или что-то из чего-то являлось следствием. Часто доказательства спрятаны в малопопулярных старых работах, и потому люди, даже потратив условно день времени, просто не находили их. Совсем недавно решения нескольких из них помогла «вспомнить» GPT-5 Pro, вы про это наверняка слышали — такие примеры тоже отслеживаются на этой странице. Но куда более интересен раздел, где поиск по литературе ничего не дал, и математики, то и дело поглядывающие на список задач, не могут вспомнить, что где-то видели решения (что не гарантирует, что их не публиковали). По сути это открытые проблемы, на которые хотя бы какое-то время смотрели опытные математики, и не смогли предложить решение. Сейчас на сайте размещено 676 открытых задач. Что может быть лучше такого сборника в одном месте? Да OpenAI и DeepMind накинутся на этот список — думаю, в ближайшие месяцы страница будет обновляться достаточно часто, а потом наверняка какая-то компания за раз выложит десятки решений. Вот это будет день и для математиков, и для развития ИИ!

Будущее распространено неравномерно — люди в 10 городах США уже имеют доступ к полностью автономному такси от Waymo (дочки Google). Никакого контроля со стороны человека по умолчанию. Вот вы знали про это? За 2025-й компания существенно нарастила географию присутствия, а в 2026-м посетит и другие страны — например, столицу Великобритании. Дальше — больше; сложность добавления новых городов куда ниже, чем создание технологии с нуля. Ключевым фактором расширения сети пребывания является безопасность по сравнению с человеком. Недавно Waymo опубликовали данные, охватывающие почти 150 млн километров, пройденных в автономном режиме в четырех городах США по состоянию на июнь 2025 года. При сравнении с водителями-людьми на тех же участках дорог, беспилотные автомобили попадали в ДТП с тяжелыми травмами или смертельным исходом на 91% реже, а в ДТП с любыми травмами — на 80% реже. Статистика показала снижение количества травмоопасных аварий на перекрестках на 96%. Но самоходные автомобили не идеальны. Совсем недавно был занятный случай, где пассажир, по пути в аэропорт застрял в такси, которое в течение пяти минут нарезало круги по кольцевой развязке на парковке. Кроме того, у Waymo произошло две аварии со смертельным исходом и одна с нанесением тяжкого вреда здоровью. Однако во всех трех случаях виновниками столкновений были водители-люди: в одном случае удар на высокой скорости отбросил другую машину на стоящий автомобиль Waymo; во втором — водитель, проехавший на красный свет, врезался в Waymo и другие машины, после чего сбил пешехода; в третьем — мотоциклист врезался в заднюю часть Waymo, после чего его насмерть сбил водитель другого автомобиля. Несмотря на это, некоторые политики пытаются вставить палки в колёса — например, в Бостоне городской совет рассматривает вопрос об обязательном наличии «оператора безопасности» в каждом таком автомобиле. Помните как перед автомобилями раньше должен был ходить человек с красным флажком? 💳 вот тут так же почти. Полный бред. Очень многое зависит от того, как Waymo покажет себя в следующем году с дальнейшим расширением. Если инциденты будут штучными, и сообщество примет их спокойно, и на политиков не будет давить 2.5 активиста, то есть шанс, что развитие пойдёт куда бодрее. Тем более что на хвост сел Elon Musk, запускающий автономное такси в Техасе в следующем году на базе новой Tesla без руля. === В медицинских исследованиях существует практика досрочного прекращения испытаний, если результаты становятся слишком очевидными, чтобы их игнорировать. Обычно останавливаются, когда выявляется неожиданный вред или в случае неоспоримой пользы — когда лечение работает настолько хорошо, что было бы неэтично продолжать давать кому-либо плацебо. Каждый отложенный год массового внедрения самоходок — это десятки тысяч жизней.

Собственно, о чём я тогда писал: вы не задумывались, что стало с коренным населением Америки, Северной и Южной? Да, пришельцы конечно убивали много людей, но... не 95% населения ведь? Куда больше, чем люди, убивали болезни, принесённые из Старого света. 😑 но почему не случилось обратного? Почему по приезду из Америки никто в Европе не заражался и не умирал от специфичных новых болезней? А всё потому, что... ...в Новом мире их особо и не было. Это складывается из 3 основных причин: 1) не было крупных городов, способствовавших распространению пандемий и с ужасными санитарными условиями 2) не было больших стад прирученных животных, помогающих в хозяйстве и выращиваемых на убой. Большинство пандемий обычно вызвано контактом с животными, чего было сильно меньше в Америке 3) но почему не было? А потому что... в Америке их просто нет. Лошади, например, вымерли задолго до посещения колонизаторами, и были после завезены с другого континента. Без лошадей нельзя погонять стада, нельзя устраивать эффективную охоту. А на кого охотиться? На буйвола? Он гораздо более дикий, чем быки. Единственным животным для одомашнивания была лама. Это лучше, чем ничего, но это не коровы в плане выработки. Ещё были пчёлы, но они не могут вспахивать землю 😀 Вот так и вышло. Нет животных для одомашнивания -> минимизация риска подхватить болезнь и ограниченная популяция -> нет городов -> нет пандемий. Более красочную и развёрнутую историю можно глянуть у CGP Grey, которого я уже рекомендовал пару раз: https://www.youtube.com/watch?v=JEYh5WACqEk (и вторая часть с объяснением того, почему какие-то животные были одомашнены, а другие — нет: https://www.youtube.com/watch?v=wOmjnioNulo)

+1

1) сбор отходов жизнедеятельности животных (деревяный брусок) в мешочек 2) очистка жирной сковороды 3) открывание двери на себя и проезд через дверь 4) использование ключа для открытия замка 5) бутерброды с маслом

Почему в большей части демонстраций робо-компаний их творения занимаются тем, что складывают футболки? Потому, что эта задача находится в «оптимальной зоне» возможностей доступной технологии — можно достичь высокой доли успеха в выглядящей сложной для роботов задаче. Benjie Holson, проработавший в Google X 8 лет и занимающий позицию VP of Engineering какого-то робо-стартаппа, пишет, что «может показаться, что раз наши методы позволяют обучить модели складывать белье, то они способны вообще на всё, но это не так. Нам придется изобрести новые подходы, чтобы системы стали по-настоящему универсальными и полезными». В сентябре он предложил идею Олимпиады для гуманоидных роботов (после того, как посмотрел и не впечатлился World Humanoid Robot Games). Всего есть 5 «дисциплин», в каждой 3 разных задачи нарастающей сложности — на бронзу, серебро и золото. Benjie думал, что для того, чтобы с ними справиться, текущих технологий не хватит. Physical Intelligence показали, что это не так — в 3 из 5 направлений они смогли взять золото, то есть выполнить самую сложную задачу из секции. Причём в оставшихся двух они не смогли их выполнить в силу того, что фокусируются на простых роботах с очень широкими и простыми грипперами. Например, не смогли расправить и повесить вывернутую наизнанку рубашку на вешалку. Почему? Потому что гриппер не пролазит в рукав. Или не смогли очистить апельсин (когда в гриппер добавили ковырялку — задача поддалась). То есть это ограничение конкретного оснащения, с которым они работают, нежели технологии в целом — не удивлюсь, если условные Figure.ai выпустят видео и покажут, как гуманоид с пальцами наяривает мандаринки. Да, это не работает идеально — в среднем их показатель успешности выполнения по всем задачам составляет 52%, а прогресс выполнения задачи — 72%. Для почти всех задач собирали не больше 9 часов данных. По мере того как модели становятся мощнее, обучаться даже самым сложным задачам будет всё проще. Для новых задач может потребоваться не только меньше данных, но и более простые источники данных (прощающие больше шума). Из остальных задач мне показались интересными: — открыть замок/дверь ключом — намазать масло на хлеб и сделать сендвич — очистить жирную сковороду водой и губкой Роботикс набирает обороты, в 2026-м, думаю, увидим очень много прогресса — так как компании уже имеют хорошее железо и цикл сбора данных и тренировки моделей, позволяющий в короткие сроки добавлять новые навыки. Плюс, RL поверх VLA тоже начал работать (я так понял по посту Physical Intelligence RL они не использовали, потому доля успеха не за 90%). Посмотреть видео, включая сбор отходов жизнедеятельности животных в мешочек 😏 можно тут: https://www.pi.website/blog/olympics

Дракон удар! Автор лучшей подписи к видео получит good laugh.

Свежая аналитика Similarweb по доле разных LLM-продуктов в веб-трафике. В начале года ChatGPT был 87.2%, теперь — 68.0%. Но при этом рост в абсолютных цифрах огромный — компания приблизилась вплотную к отметке в 900 миллионов уникальных пользователей в неделю. Изначальный план был достичь 1 миллиарда то ли недельных, то ли дневных пользователей — TheInformation сначала написали одно, потом другое без пометок вроде «OpenAI изменили план», так что мб ошиблись в исходной новости. Больше всех растёт Gemini — с 5.4% год назад к 13.7% месяц назад и 18.2% сейчас. Но я не думаю, что Google откусили эти 13% у OpenAI и других игроков — они конвертируют существующих пользователей своей экосистемы в новых пользователей. AI Overviews показываются более чем миллиарду человек ежемесячно, и их нельзя отключить. Фоллоу-ап вопросы направляются в AI Mode с Gemini. На каждом телефоне с Android стоит ассистент Gemini по умолчанию. Вот тут написано, что 76% этого трафика идёт от перехода с домена google.com. Пользователи в большинстве своём не ищут Gemini, просто он встречается на пути и часть переходит. Можно сказать, что те, кто выбирает инструмент осознано, в большинстве своём выбирают ChatGPT, но Google безусловно выигрывает в пассивном показе инструментов. Но и со стороны моделей и продуктов у Google сильное предложение — аналога NotebookLM всё ещё ни у кого нет, Nano Banana / Pro действительно хороши и вирусятся, генерации растаскивают на мемы. Gemini 3 Pro пишет очень приятно и хорошо, объясняет понятно и гопнику, и профессору математики. Смогут ли компании сохранить свой момент в 2026-м? Поговорим через год!

Пока пишу следующий пост наткнулся на такое — старая новая фича ChatGPT, где в ответе выделяется несколько словосочетаний, при нажатии на которые справа всплывает целое отдельное окно, в котором генерируется статья на тему. Мини-википедия без увода людей на другие сайты. Я видел это подчёркивание давно, но ни разу не нажимал (думал, что это просто гиперссылка на источник). Но что меня удивило это что я ни разу не видел про это ни треда в твиттере, ни комментариев в канале или в других чатах. По-моему, отличная замена для вопросов в конце ответа в духе «хочешь я расскажу про Х или У?». UPD: заметил недоработку — для некоторых ключевых слов, написанных на английском языке, при открытии вкладки весь текст на английском, а не языке чата (то есть мета-информация и сообщения не пробрасываются).

Близится конец года, а это значит что помимо его итогов многие подводят результаты ставок и споров 😊 Вот например на Polymarket есть рынок «какая компания будет иметь лучшую кодинг-модель по окончанию 2025-го?», и там, возможно, внезапно для некоторых, безоговорочным лидером является OpenAI (95%). Уверен, в канале найдется много комментаторов, которые уже давно похоронили компанию, надели майки «Гугл вперед», и которые сейчас удивились 🙂 Как и в случае моего августовского поста, причина — в критерии, который используется для разрешения. В этом случае используется подраздел coding бенчмарка LiveBench, который как раз недавно (в ноябре) обновляли. GPT-5.1 Codex Max выбивает там 81.38, а Claude 4.5 Opus Thinking High Effort — 79.65%. Скорее всего тут разница даже не стат. значима, но на рынке это не учитывается. Однако даже если брать другой бенчмарк, то я бы смотрел в сторону SWE-ReBench, где модели гоняют на самых свежих задачах, гарантированно не присутствовавших с тренировочных данных. gpt-5.2-2025-12-11-medium там слегка лидирует над моделями Anthropic (хоть на первом месте и Opus, но запущенный через Claude Code). Эх, ещё бы ребята на xhigh расщедрились бы... Но что куда интереснее — это ретроспективная оценка GPT-5, вышедшей в августе. Помните перед релизом были новости, что по внутренним бенчмаркам компании она сопоставима с Opus/Sonnet, и что OpenAI «догонят» конкурентов? Получается, это было правдой — сейчас, с набором статистики и большего количества задач модель всё равно держится в топе, и обгоняет Gemini 3 Pro, и Sonnet 4 (а вот от 4.5, вышедшего на полтора месяца позже, слегка отстаёт).

Дошли руки почитать статью годовой давности, Cut Your Losses in Large-Vocabulary Language Models. Разбирать мы её не будем, так как она очень тяжела на математику и почти наверняка не интересна вам, но если вдруг вы MLE и будете готовиться к собеседованиям — это почти мастхэв. В статье описан очень интересный трюк с фильтрацией части элементов в наборе вероятностей слов, основанный на том, что очень маленькие вероятности ниже какого-то значения не будут оказывать влияния на подсчёт, если используется 16 бит для записи чисел (bfloat16). В целом это достаточно широко известный факт: если складывать очень большое число и очень маленькое, то сумма будет равна первому числу — второе на его фоне потеряется. При этом даже если работать с просто очень маленькими числами, то в какой-то момент их сумма может стать большой и начать «съедать» второе слагаемое в сумме, приравнивая его вклад к нулю. Простой пример: import torch dtype = torch.bfloat16 large_tensor = torch.tensor([1.0], dtype=dtype) tiny_val = 2**-8 tiny_tensor = torch.tensor([tiny_val], dtype=dtype) steps = 2**8 naive_sum = large_tensor.clone() for _ in range(steps): naive_sum += tiny_tensor block = torch.full((steps,), tiny_val, dtype=dtype) block_sum = torch.sum(block, dtype=dtype) smart_sum = large_tensor + block_sum print(naive_sum, smart_sum) — прибавляем 2**-8 к единице много-много раз, чтобы получить двойку. Как-то я задумывался, а почему так происходит и где границы, при которых сложение не работает, но забил. А теперь вот вернулся к этому — и делюсь с вами. Причина в том, как именно компьютер делает сложение. Чтобы это понять, нужно вспомнить, как хранятся числа. С битами и двоичной системой возиться неинтересно, поэтому давайте представим, что всё работает в привычной десятичной. Будем складывать 100_000 и 50. В памяти компьютера 100_000 будет храниться так: 1.00 x 10^5, то есть как некоторое число, называемое мантиссой, умноженное на десять в какой-то степени (сохраняем только первый множитель + степень десятки). Тогда 50 будет записано так: 5.00 x 10^1. Степень десятки называется экспонентой, и компьютер не умеет складывать числа с разными экспонентами — поэтому их нужно привести к одной, большей (`10^5`). Но тогда и мантиссу нужно соответственным образом разделить (в реальности — сдвинуть биты, ведь каждый сдвиг это деление на 2): 0.0005 x 10^5 = 50. То есть пятёрку разделили на десять тысяч (потому что разница экспонент `10^4`). После этого при одинаковой экспоненте нужно просто сложить мантиссы и получится результат операции. Но под хранение мантиссы выделено определённое количество бит, и поэтому очень-очень маленькие значения (из-за деления на `10^4 = 10_000`) там сливаются с нулём. Если в нашем примере оставлять лишь 3 значащих цифры, то получится что 0.0005 превратится в 0.00. Итого 100_000 + 50 = (1.00 x 10^5) + (0.00×10^5) = 100_000 + 0 = 100_000 В реальности же под мантиссу в bfloat16 выделяется 7 бит (и плюс у нас есть единица, 1.xxxxxxxx — 8 значащих бит). Если разность экспонент двух слагаемых больше 2**8, то одно из слагаемых будет равно нулю из-за сдвига при выравнивании экспонент. 1.0101010 превратится в 0.0000000. Но на самом деле всё ещё чуть сложнее, так как по стандарту нужно хранить отдельно 3 разных флага при выравнивании экспонент, включая — возможно вы слышали — sticky bit (показывает, есть ли в отрезанном хвосте хотя бы одна единица в битах). И плюс есть правила округления. Но при разности экспонент 9 и больше (числа отличаются по масштабу в x256 и более раз) вас уже ничего не спасёт. Ниже — реакция подписчика, который пришёл на канал читать понятные объяснения про ИИ 💳

Nvidia покупает Groq. Тот самый, который делает чипы для быстрого инференса LLM. - Это крупнейшая покупка Nvidia за всю историю - $20 млрд. - Компания была основана создателями Tensor Processing Unit (TPU) от Google. Они сейчас конкурируют (ну, хотят) с Nvidia в железе. - Groq, оценивался в $6,9 млрд в раунде финансирования в сентябре, и сейчас представил сделку как «неэксклюзивное лицензионное соглашение», при этом CEO и другие руководители высшего звена переходят в Nvidia. Source

И результаты разных моделей и систем на ARC AGI 2.

Получается, что такой результат это в большей степени заслуга Google и OpenAI (GPT-5.2 X-High там вообще какой-то безумный скор показала). Это они натренировали модели, готовили данные, придумывали алгоритмы. Почти наверняка они использовали подходы, схожие с топ-решениями соревнования ARC на Kaggle. Основная фишка там — это сгенерировать огромное множество искусственных примеров задач и учить модель на них в попытке показать как можно больше вариаций паттернов, которые могут встретиться в тестовой выборке. По сути, это просто пайплайн генерации синтетики + обучение на нём, помимо других задач. И поскольку эти пайплайны могут существенно отличаться, то сложно сказать, у какой из команд лучше именно алгоритм обучения рассуждениям. В модель втренировывают все вариации задач. Отсюда ясно, что настоящий инсайд результатов ARC AGI — это наличие алгоритма тренировки и базовой модели, которые позволяют для некоторого класса задач за относительно недлинный промежуток времени очень прокачать качество. Главное что компании должно быть это интересно (а не просто считать буквы в словах). Другими словами, если OpenAI считают, что выполнение задачи X принесёт большую ценность, то они берут, тратят миллионы долларов на сбор и разметку данных, учат модель, то сё, и вот навык существенно прокачивается. Не до 100%, и иногда даже не сразу до человеческого уровня, но скачок заметный. И затем за ~год научиться это делать гораздо более эффективно (не за миллион долларов, а за тысячи). Так что бенчмарки ARC AGI 1 и 2 во многом считаю бесполезными, но при этом некоторым proof-of-concept для проверки алгоритма обучения. Но если задаться целью проверять именно это, то может быть есть куда более интересные и ценные направления? === ARC AGI 3 немного изменит подход, но по мне так это снова банальное усложнение через увеличение количества клеточек. В третьей версии будут интерактивные игры, где система должна делать ходы (прям нажимать вверх-вниз-влево-вправо) и за несколько попыток понять правила игры и пройти несколько уровней. Попробуйте поиграть сами: https://three.arcprize.org/ Пожалуй, это позволит протестировать ещё более длинные контексты (теперь вход в модель для рефлексии - это не одно поле, не набор пар, а длинная череда слепков поля и действий), а также навык выведения правил игры в рамках одной сессии. Но можно ли это проверять как-то по другому, и без, блин, полей в клеточку 60x60, которые занимают 3600 токенов ~= 9 страниц текста на КАЖДЫЙ слепок? А то основные навыки у моделей будут, а потом окажется, что не можем решить задачи из-за ошибок в распознавании пикселей на картинке.

Про ARC-AGI и свою критику этого бенчмарка и мнений его автора, François Chollet (автор Keras), я писал много раз (если пропустили — читать тут, тут, тут, тут и тут). Бенчмарк состоит из нескольких сотен визуальных головоломок с квадратиками разного цвета на сетке. Для каждой задачи дано 2-3 примера некоторого преобразования было -> стало, и предоставлен новый пример, для которого модели или системе нужно предсказать, каким должен быть результат. Для людей задачки достаточно простые — средний человек почти сходу решает 80%, а вот алгоритмы 3-4 летней давности едва ли брали двузначные процентов. С появлением рассуждающих моделей ARC-AGI 1 пал — o3-preview, представленная на декабрьском стриме, решала задачи лучше среднего человека. OpenAI пояснили, что модели учились на публично доступной части бенчмарка (что не запрещено — он для этого и дан), а организаторы добавили, что на решение затратили, по их подсчётам, миллион долларов в API-кредитах за LLM, потому что для каждой задачи o3-preview генерировала 1024 решения, а затем отсекала неправильные (не работающие для 2-3 данных примеров) и выбирала 2 самых частых ответа. Вот несколько цитат из оригинальной статьи 2019-го года, чтобы вспомнить контекст: — Мы утверждаем, что ARC может быть использован для измерения человекоподобной формы общего подвижного интеллекта и что он позволяет проводить честные сравнения общего интеллекта между ИИ и людьми — Мы постулируем, что существование программы, решающей ARC на уровне человека означало бы способность создавать ИИ на основе демонстраций (требуя лишь горстку примеров для спецификации сложной задачи) для решения широкого круга понятных человеку проблем (тут сложно не согласиться) — Насколько нам известно, к ARC невозможно подступиться с помощью какой-либо существующей техники машинного обучения (включая обучение нейросетей) из-за его фокуса на широком обобщении и обучении на малом количестве примеров Очень долго автор ходил с важным видом и говорил, что нейросети тут работать не будут. Потом пришли LLM и он говорил то же самое про них. Поверить, что o3-preview смогла решить было настолько сложно, что авторам пришлось придумывать много глупых ухищрений, включая обзывание LLM symbolic reasoners. У меня много критики и к бенчмарку, и к позиции авторов, но самое главное было то, что, как мне казалось, бенчмарк не решался LLM скорее из-за ограничения в работе с форматом поля из клеточек, которое к тому же требует очень длинного контекста (с которым модель хорошо работает). Невозможность решить задачу не являлось для меня аргументом к не-интеллекту LLM, так как проявление навыков было затруднено этими двумя вещами. И вот когда ARC 1 побили, выпустили ... ARC 2. Что в нём изменилось? Тезисно: — ... сделали сетку с клеточками большего размера (так что теперь нужно ещё больше токенов -> длиннее контекст) — ... больше объектов в сетке — многие задачи «сложнее», так как требуют комбинацию из 2-3 паттернов, а не 1 (произошёл классический goalpost moving, но авторы это и сами понимали, поэтому начали работать над ARC AGI 3) И вот с выходом моделей последнего поколения, Gemini 3 Pro и GPT-5.2, и на этом бенчмарке уровень людей был превзойдён. Стартап Poetiq сделали унифицированную систему (набор промптов и немного кода, см. тут), которая можешь запускаться на любой LLM. Но ясно, что чем лучше сама базовая модель, тем выше качество, сами они по сути сделали очень мало.

Не спите? про ARC-AGI бенчмарк поговорим? Или 🥱?

Во всех описанных выше экспериментах люди выполняли протоколы самостоятельно и руками; но OpenAI сколлаборировались с одним робо-стартапом и попробовали автоматизировать эксперименты. Пока ещё технология ограничена: в целом получить протокол с приростом получилось, но он меньше, чем при исполнении руками. Посмотреть видео можно тут — видно, что всё оборудование настроено заранее (выставлена температура итд), а робо-рука тут просто перекладывает пробирки и добавляет реагенты. И это всё не касается финального этапа подсчёта количества колоний в чашке Петри, который оценивает эффективность протокола и помогает GPT-5 понять что сработало, а что нет. Но в будущем — в очень скором будущем! 😳 — у нас будут автоматизированные мокрые лаборатории. И тогда country of geniuses in a datacenter получат руки 🤝🤝. И при автоматизации большей части физического труда можно будет использовать эксперименты как сигнал для обучения модели, как в RL делают для матемтики и программирования. Вот такой-то протокол — хорошо, вот такой — хуже. Повторить тысячу раз, и модель начнёт иметь интуицию об успешных комбинациях и оптимизациях не хуже человека.

Measuring AI’s capability to accelerate biological research in the wet lab OpenAI For Science не унимается и набирает обороты — и в этот раз они поделились первыми результатами использования GPT-5 для оптимизации протоколов выполнения работ в мокрой лаборатории. Я не большой эксперт в теме размножения и сборки ДНК, да и вообще все мои знания в это домене ограничены вот этим видео Veritasium (рекомендую к просмотру — про изобретение ПЦР, за который выдали Нобелевскую премию) — поэтому мне сложно давать оценку, но я постарался углубиться с помощью LLM в вопрос. Итак, о чём работа? В настоящий момент рассуждающие модели сияют в областях, где идеи можно строго проверить без проведения экспериментов физически в реальном мире— математика, программирование, некоторые разделы физики. Но вполне возможно, что при правильном подходе оно будет работать — тем более на следующий год стоит задача завести это. OpenAI взяли самый популярный протокол для клонирования ДНК, сборку Гибсона, который используется повсеместно в молекулярной биологии. Сборка Гибсона позволяет молекулярным биологам «склеивать» фрагменты ДНК, кратковременно «расплавляя» их концы, чтобы совпадающие последовательности могли соединиться в единую молекулу. Бейзлайном был готовый набор от NEB — самый часто использующийся в практике и имеющий наибольшее число упоминаний в литературе. Исходный протокол очень прост: взять 3 компонента, добавить заготовленный микс, и поставить на 30 минут при температуре 50 градусов. Эффективность этой операции (сборки) определяется количеством колоний на выходе при фиксированном наборе входного материала ДНК. Дальше запустили эволюционный алгоритм для итеративной доработки предложений, что позволило модели обучаться основе своих прошлых экспериментов. В каждом раунде GPT‑5 предлагал партию из 8–10 различных вариантов изменения протокола. Затем ученые проводили реакции и подсчитывали количество колоний по сравнению с базовой сборкой. Данные о лучших результатах предыдущего раунда передавались в следующий. Важно отметить, что промпты были стандартизированы и не требовали участия человека. По итогу 5 раундов лучший из подходов, предложенных моделью, показал рост эффективности в 79 раз — за счёт усложнения процедуры (разные температуры, использование центрифуги, добавление двух новых ферментов). Цифра звучит впечатляюще, но насколько это круто? Во-первых, в литературе есть упоминания роста эффективности отдельных протоколов в тысячу (и даже тысячи) раз. Во-вторых, эффективность не всегда настолько важна — в определённой доле экспериментов не важно, сколько колоний ДНК на выходе — 1, 10 или 79. Учёным нужна всего одна. Но в целом в немалом количестве ситуаций это всё равно важно. В-третьих, OpenAI проводили эксперименты на узком наборе ДНК; после окончания они взяли лучшие протоколы и протестировали снова, используя более широкий диапазон разведений ДНК. Многие из них показали меньшую эффективность, чем при первичном скрининге. А вот тут дальше написано непонятно, но как будто бы выходит, что самый эффективный из них всё равно дал улучшение в десятки раз (уже на широком наборе). В-четвёртых, протокол стал сложнее — вместо одного смешивания и нагревания на 30 минут теперь несколько разных этапов с перепадами температур и использованием дополнительного оборудования. Это не существенный минус, но стоит держать в голове. OpenAI не ожидают, что в большинстве применений новый протокол составит конкуренцию простоте и надежности клонирования исходного бейзлайна. Тем не менее, появление механистически отличного пути склеивания ДНК заслуживает внимания: GPT‑5 нашла решение, включающее нетипичную комбинацию двух белков. При этом этот метод совместим с легкодоступными ферментами, что устраняет необходимость в их самостоятельной подготовке, и при этом превосходит показатели повышения эффективности аналогичных подходов, описанных в литературе.