Сиолошная

Что я думаю пока пишу следующий пост:

Я сначала не хотел ничего писать про новую модель (которую назвали 1.5 — полторашка, чтобы дать понять, что это не мажорный апдейт), и по примерам, которые комментаторы кидали в чат, казалось, что она в лучшем случае на уровне Nano Banana. К моему удивлению не на одной — на двух! аренах, где люди голосуют за генерации по своим промптам, модель от OpenAI вырвалась в топ с отрывом. Не знаю, как это объяснить — может быть, также как с Sora результаты получаются менее вылизанными и глянцевыми, и оттого выглядят менее искусственно, а людям это нравится 🤷‍♂️ или лучше работает на самых простых промптах в 3-5 слов вместо детальнейших длинных описаний сцен, что, опять же, ближе к тому, как промптят пользователи.

На этой неделе Sama обещал новогодние подарки. Одним из них, видимо, станет новая модель генерации изображений. Интересно, сделают ли её частью приложения+ленты Sora? Но это не интересно — хочется увидеть аналог o3 preview, как в прошлом году, и систему, которая летом выиграла золото на олимпиаде по математике — в идеале, не в рамках подписки за $2000 😭 UPD: Sama подтвердил, что запуск сегодня. Увидимся через 2 часа.

Ещё одна вещь, с которой я согласен: «Ключевой показатель прогресса — насколько ИИ интегрирован во всё вокруг и насколько он полезен. Если одна модель лучше другой, это не означает автоматически, что она будет использоваться шире. Важно, чтобы модель была полезной и приносила прирост производительности по разумной цене». Однако это говорится в контексте разницы между США и Китаем, и что якобы у США идея такова: разработай самую большую и крутую модель, и люди потянутся. Но ведь это не так. OpenAI намеренно сделали GPT-5 маленькой, доступной для развёртывания на миллиардную аудиторию. А Китай не делает модели больше и не тренирует их дольше не потому, что это их стратегический план — а потому что они, блин, все в санкциях и собирают суперкомпьютеры через контрабанду чипов. Если им дать в 10 раз больше мощностей — они их тоже будут использовать. Компании в США, по крайней мере 3 ведущие, очень чётко понимают, что им нужно продолжать наращивать выручку, потому что без этого они не смогут платить за расширение кластеров, про которое мы говорили выше. Они как раз и пытаются сделать так, чтобы ИИ «был интегрирован во всё вокруг» — OpenAI делают девайс нового поколения с легендарным дизайнером из Apple, Google запихивает ИИ-фичи в каждую кнопку сайта. В общем, тут мне позиция Tim по разнице стран не понятна. Но самая горькая горошина в конце: «Я заметил такую закономерность: когда спрашиваешь людей в области залива Сан-Франциско, когда наступит AGI, они всегда говорят, что это вопрос нескольких лет и что влияние будет колоссальным. Затем, если спросить их, что же такое AGI на самом деле, они не включают в свое определение никаких физических задач. Большинство существующих проблем робототехники, которые остаются нерешенными, также экономически нецелесообразны. Пришивание рукавов к футболке — это нерешенная задача робототехники, но в большинстве контекстов она не имеет особого экономического смысла». Мне кажется только ленивый не сказал, что обсуждение AGI без указания используемого определения — глупость. И если одно определение (которое критикуется) не подходит к твоему — по мне так логично критиковать то, что люди имеют в виду, и находить аргументы против этого, а не говорить, что определение не правильное. Но I в AGI означает «интеллект», и для меня, и для ведущих компаний это связано с физическим трудом в меньшей степени. Сколько физ. труда требует Google, чтобы показать выручку в сто миллиардов долларов в квартал? Ненулевое количество, конечно, но это явно не бутылочное горлышко к дальнейшему их развитию. OpenAI определяет AGI как систему, которая может обойти человека в выполнении большинства экономически важных задач. Может быть в Камбодже большинство экономике и завязано на физический труд, но в США уже точно преобладает рынок информационных услуг (статистику не искал, скиньте в комменты, если не лень). И большинство лидеров AGI-компаний говорят про работу на замену, в первую очередь, труда, который можно выполнять удалённо — разработка, но не только. Это сам по себе огромный рынок. Но вместо обсуждения своего несогласия с этим Tim кидается на робототехнику и рассказывает, как в ней сложно (и бессмысленно с точки зрения выручки) делать прогресс. Нет, он правда сам говорит, что там денег особо нет (фабрики уже автоамтизированы, а складывать футболки и разгружать посудомойку роботом никому не нужно). Интересно почему ж тогда компании и не копают в этом направлении 😏 (= не инвестируют столько денег)

Наткнулся в твиттере на обсуждение эссе Why AGI Will Not Happen от Tim Dettmers, автора bitsandbytes и подходов к квантизации LLM. С частью тезисов я согласен, а часть мне кажется безумно странной — автор вместо размышлений и доводов прыгает к выводам и никак их не поясняет. Например: «Трансформер (архитектура, лежащая в основе LLM) — одна из самых эффективных архитектур, поскольку она сочетает в себе простейшие способы выполнения локальных вычислений и глобального объединения информации». ❓хорошо, но ведь к ней придумали как минимум две модификации, которые делали её существенно более эффективной. А сколько ещё таких модификаций будет? Если мало, то придётся улучшать железо, про которое Tim пишет так: «Одно из самых распространенных заблуждений, которое я наблюдаю, — это предположение, что железо продолжает улучшаться и улучшаться. Это важное заблуждение, объясняющее многие ошибки в мышлении относительно прогресса ИИ. Каждое поколение GPU было лучше предыдущего, и, казалось бы, глупо думать, что это прекратится. Но на самом деле глупо думать, что GPU продолжат улучшаться. По факту, GPU больше не будут значимо улучшаться. Мы увидели последнее поколение значительных улучшений GPU. Максимальная производительность графических процессоров по соотношению цены и качества была достигнута примерно в 2018 году — после этого мы добавили разовые функции, которые быстро закончатся.» (посочувствуем человеку, который выбрал бы себе в инвест. советчики Tim Dettmers — акции Nvidia выросли на 5000%, наверное, какой-то другой критерий тоже важен, раз компании покупают новое, а не старое железо) Tim знает GPU лучше меня, и потому я соглашусь, что скорее всего прогресс был во многом на разовых функциях, тензорных ядрах, памяти, уменьшении битности итд. Но если посмотреть на прогресс развития CPU, то там для поддержания развития протяжении более чем 50 лет как раз такие разовые фичи и появлялись. Упираешься в предел оптимизации в одном — находится что-то другое. Волна за волной, суммарный прогресс так и накапливается. «У нас осталось, может быть, один или два года масштабирования, потому что дальнейшие улучшения становятся физически нереализуемыми. Результаты масштабирования моделей в 2025 году не впечатлили. Лучше бы масштабированию в 2026 и 2027 годах показать себя лучше» — этот тезис очень тесно связан с другим, «Линейный прогресс требует экспоненциальных ресурсов». И с последним я согласен — но ведь именно это мы и наблюдаем. Инвестиции в триллион долларов как раз и являются тем экспоненциальным ростом, и они не заканчиваются через один или два года. Помню, что я видел аналитику по затратам на ДЦ, на чипы и электричество, и там выходило, что мы сможем поддерживать такой рост (если индустрия будет привлекать деньги, то есть если сможет наращивать выручку) до ~2035-2036-ых годов. Вот что к тому моменту будет — от того да, сделать дальнейший шаг роста не получится, по крайней мере без решения вопросов энергетики. Так что моё несогласие тут скорее в сроках, нежели выводе — да, конец когда-то наступит, но не через 1-2 года. Может показаться, что он замедлился, только чтобы на третий год сделать ещё больший прыжок с каким-то новым исследовательским прорывом.

Помните, несколько лет назад Amazon хотел купить iRobot и европейские регуляторы заблокировали сделку? Ну вот, компания, положившая начало продуктовой категории роботов-пылесосов, подала заявление о банкротстве по главе 11. Контроль переходит к китайскому Shenzhen PICEA Robotics — основному поставщику iRobot. Компания достаётся китайскому производителю фактически через механизм выкупа долга в 191 млн. Будет очень иронично, если в итоге Еврокомиссия будет обсуждать, как защитить европейский рынок от очень дешевых китайских роботов-пылесосов. https://www.bloomberg.com/news/articles/2025-12-15/robot-vacuum-roomba-maker-files-for-bankruptcy-after-35-years

🥺 кто бы мог подумать, что из-за больших языковых моделей отложат анонс и, возможно, релиз Half-Life 3... Мы с Самой больше не друзья 😭 (источник — инсайдеры Tom Henderson и его коллега Mike Straw) Пояснение: Valve хотели выпустить игру одновременно с запуском нового мини-компьютера, анонсированного совсем недавно, но теперь из-за подорожания оперативной памяти на сотни процентов сделать продукт доступным тяжело, и компания не уверена в цене/дате запуска. А память подорожала из-за АИ-бума — несколько производителей объявили об уходе с консьюмерского рынка в пользу работы на поставку компонент для дата-центров. Вот буквально сегодня Samsung сказали, что перестанут производить SATA SSD 😢

Если вам лень читать, то можете посмотреть только вот на это 🙂

И отдельно вынесу вот это. В чем Codex (и другие кодинг-агенты) сильны: — Быстрое чтение и понимание больших кодовых баз: Codex знает практически все основные языки программирования, что позволяет использовать одни и те же концепции на многих платформах. — Покрытие тестами: Codex пишет юнит-тесты для покрытия широкого спектра случаев. Не каждый тест был глубоким, но широта покрытия помогла предотвратить регрессии. — Работа с обратной связью: Codex хорошо реагирует на фидбек. Когда CI падал, Codex может прочитать лог ошибок и исправить проблему — Параллельные запуски и «одноразовый» код: вполне реально проверять несколько идей параллельно и относиться к коду как к расходному материалу, который можно тут же выбросить и переписать промпт — Предложение новой перспективы: В обсуждениях дизайна Codex использовался как генеративный инструмент для поиска потенциальных точек отказа и новых способов решения проблем. Например, при проектировании оптимизации памяти видеоплеера Codex перебрал множество SDK, чтобы предложить подходы, на анализ которых у инженеров не было бы времени. — Код-ревью: Codex часто отлавливал баги до того, как их заметят люди что повышает надежность. === Где Codex требуется помощь: — Codex пока не очень хорош в понимании того, о чем ему прямо не сказали (например, ваши предпочтения в архитектуре, продуктовая стратегия, реальное поведение пользователей итд). — Codex не может видеть, как приложение работает на самом деле: он не мог открыть Sora на устройстве, заметить, что прокрутка ощущается как-то не так, или почувствовать, что пользовательский сценарий запутан. — Каждая новая сессия требует погружения. Передача контекста с четкими целями, ограничениями и инструкциями в духе «как у нас принято» была необходима для того, чтобы Codex выполнял задачи качественно. — Codex испытывал трудности с глубокими архитектурными решениями: оставленный без присмотра, он мог добавить лишнюю абстракцию там, где хороший инженер хотел бы расширить существующую. Его инстинкт — заставить код работать, а не заботиться о долгосрочной чистоте кода.

OpenAI недавно выпустили Android-приложение Sora; по классике, сначала вышла iOS-версия, и затем через какое-то время команда допилила для нас, работяг. Вот только OpenAI сделали приложение командой из 4 человек и всего за 4 недели благодаря Codex Max — и поделились своей историей в блоге. Мне кажется, там много интересного. Например, суммарно потратили 5 миллиардов токенов — это примерно $45k, по $2500 в неделю на человека 😨 (но это +-покрывается подпиской за $200). Разработка приложения такого масштаба и качества обычно требует работы множества инженеров в течение нескольких месяцев, и этот процесс неизбежно замедляется из-за необходимости координации; добавление новых инженеров часто снижает эффективность из-за роста накладных расходов. Но процесс разработки точно нельзя назвать вайб-кодингом — очевидно нужно придерживаться тех же стандартов надежности и масштабируемости, которые ожидаются от обычного проекта. OpenAI начали проект с огромным преимуществом: Sora уже была выпущена на iOS. С учётом этого, ключевым моментом было то, что инженеры предварительно: — задизайнили / адаптировали архитектуру и трейдоффы — проработали модульность и навигацию по вкладкам И сами руками реализовали аутентификацию и базу сетевого протокола. На этом фундаменте они добавили несколько показательных фич и задали правила, которым должна следовать вся кодовая база. Плюс документировали паттерны проекта по ходу дела. А вот затем уже запустили Codex, указывая на эти примеры, что позволило ему работать более независимо и в рамках стандартов. Тщательно спланированный фундамент позволил избежать дорогостоящих переделок и рефакторинга. Это было одно из самых важных решений — и по итогу Codex написал.... 85% кода 👍 Dario-то был прав 🙂 Почему это хорошо работает? Есть много «правильных» способов написать код. Но не нужно говорить Codex, что именно делать; нужно было показать ему, что считается «правильным» в конкретной команде и в проекте. Как пример: просить Codex «создать вот такой вот экран настроек» почти без контекста — это плохо, результат не гарантирован. А вот «создать этот экран настроек, используя ту же архитектуру и паттерны, что и вот этот другой экран, который ты только что видел» работает намного лучше. Люди принимали структурные решения и устанавливали правила; Codex затем заполнял большие объемы кода внутри этой структуры. Способность Codex писать код освободила инженеров от большого объема ручного набора текста. У них появилось больше времени, чтобы думать об архитектуре, внимательно читать пулл-реквесты и тестировать приложение. «Бутылочное горлышко» в разработке сместилось с написания кода на принятие решений, предоставление обратной связи и интеграцию изменений. И самое главное: разработка с помощью ИИ не снижает потребность в строгости и тщательности; она её повышает.

История из чата канала, в которой преподаватель неназванного заведения дал неопубликованную исследовательскую задачу, а модель, подумав час, решила её. По своему опыту скажу, что есть что-то магическое, когда отправляешь модель работать на столь долгий срок, закрываешь вкладку, приходишь потом и видишь ответ. А ведь время автономной работы будет только расти! Вместе с релизом GPT-5.2 OpenAI выпустили блог + статью по статистической теории обучения, в которой «люди не предлагали никаких стратегий доказательства или промежуточных аргументов, а лишь побуждали модель к дальнейшему развитию дополнительных результатов, а также проверяли её доказательства». Уверен, что Gemini DeepThink справилась бы не хуже, но для реального использования у неё маловаты лимиты по сравнению с OpenAI, 50 запросов в день не сделаешь. 📈 эпоха вайб науки начинается

Видео от компании в честь юбилея

В этот день в этот час ровно 10 лет назад Sam Altman анонсировал OpenAI: https://x.com/sama/status/675427588165136384?s=20 Всего за 10 лет мы перешли от ситуации, когда про AGI и говорить-то не было принято, к моменту, когда «длинные таймлайны» у AI-скептиков — это 10 лет (да и те скорее говорят про супер-интеллект, а не AGI). Here's to 10 more 🫡

👨‍🦳 главный сркиншот из блога с анонсом: https://openai.com/index/introducing-gpt-5-2/

Анонса GPT-5.2 пока нет, вот-вот появится, но есть страница модели и цены — и они выше, чем GPT-5 / 5.1. Неужели таки новая базовая модель??? Плюс, знания обновили — теперь модель знает про то, что произошло до 31-го августа 2025-го года. Но это не указывает на новость модели однозначно, так как ранее GPT-4o «доучивали», без начинания с нуля.

Chip War в наше время: — В понедельник президент США разрешил продажу чипов Nvidia H200 в Китай, в то время как Пекин всё ещё решает, позволить ли компаниям их закупать, ведь линия Партии — это усилить локальное производство и адаптацию своих чипов от Huawei. H200 — это видеокарты прошлого поколения, уже чуть меньше года компании из США закупают Blackwell (GB200/300). — По словам шести источников TheInformation, знакомых с ситуацией, DeepSeek разрабатывает свою следующую модель используя несколько тысяч передовых чипов Blackwell, запрещённых к экспорту в Китай. — Источники сообщили, что используемые DeepSeek чипы были ввезены в Китай контрабандой по запутанной схеме: их отправляли в дата-центры стран, где закупка разрешена (обычно страны Юго-Восточной Азии). После установки чипов и серверов в этих дата-центрах за пределами Китая, Nvidia или её дистрибьюторы (например, Dell Technologies) направляют сотрудников для проверки оборудования на месте, чтобы убедиться в его соответствии техническим стандартам и экспортным ограничениям. Как только проверка завершена, дилеры разбирают серверы и отправляют их в Китай. Пройдя китайскую таможню по поддельным бумагам, чипы и серверы устанавливаются в дата-центрах 🇨🇳 — Ранее писали, что DeepSeek плотно работает с инженерами Huawei, чтобы обучать модели на их чипах, но успеха пока нет, и используются карты Nvidia. Пока тренд сохраняется. — По словам источника, некоторые сотрудники DeepSeek надеются показать модель следующего поколения к Лунному Новому году в середине февраля '26. Однако CEO DeepSeek ставит производительность выше соблюдения сроков, и потому не установил жесткого дедлайна для выхода новой модели. — Nvidia уже разработала и тестирует программную функцию, позволяющую отслеживать местоположение своих чипов, что может помочь компании в борьбе с контрабандой. Если эта функция будет полноценно запущена, она может нанести серьезный удар по использованию контрабандных чипов в Китае.

GPT-5.2 завтра? 🆒 Больших прорывов и обновлений не ожидаю (хотя в новостях писали, что на внутренних бенчмарках компании обходят Gemini 3), но буду рад ошибаться. P.S.: Garlic — кодовое название модели, недавно всплывшее в прессе. Было указано, что модель выйдет в январе, и что в декабре нас ждёт Shallotpeat. Но, быть может, планы изменились.

Интересная инфографика от Epoch.AI — они оценили стоимость компонентов в новых GPU Blackwell, и оказалось, что непосредственно сам чип даже не самое дорогое, что там есть. На первом месте — супербыстрая память, которой нужно аж 192 гигабайта (на 2 чипа). Стоимость примерно $2900. На втором... снова не чип, а оплата услуг сборки и высокотехнолоичной упаковки (CoWoS-L), осуществляемой TSMC. На третьем... потери от упаковки — она не всегда удаётся, и тогда чип и память становятся непригодными. Сами же два чипа стоят в сумме $900 — от общей цены компонентов в $6400. И поверх этого идёт наценка примерно в 400% от самой Nvidia 👨‍🦳 (расчёт выше не включает маркетинг, затраты на исследования, ничего, кроме самих компонентов) Цены и спрос на память объясняют, почему совсем недавно компании начали уходить из консьюмерского сегмента и полностью переориентироваться на ИИ-оборудование.

(пост был написан только для того, чтобы скинуть эту картинку в ответ комментаторам)

Сначала маленький ничем не примечательный стартап Starcloud запускает в космос видеокарты и говорит про датацентры на орбите. Потом Jeff Bezos, вообще-то некогда самый богатый человек в мире, говорит, что это — будущее. CEO Google объявляет, что они запускают амбициозный проект Suncatcher для тестирования разворачивания группировки с собственными чипами компании, и вот недавно ещё стало известно, что Sam Altman вёл переговоры о приобретении Stoke Space, компании, занимающейся разработкой многоразовых ракет. Больше всего известно про проект от Google, в рамках которого несколько инженеров собрались и сделали прикидки по возможности реализации проекта, по итогу которых был дан зелёный свет — и первые TPU полетят в космос в 2027-м году. Существенное отличие Suncatcher от Starcloud — вместо одной большой станции с огромными солнечными панелями будут относительно маленькие спутники, летающие близко друг к другу. Больше деталей из статьи: — солнечные панели на орбите вырабатывают в 8 раз больше энергии, чем на Земле. Можно развернуть их так, чтобы свет поступал практически непрерывно, что снижает потребность в аккумуляторах. Спутники расположат в позиции, когда они будут лететь прямо по линии рассвета (тени, бегущей по Земле) — так, что одна сторона всегда освещена, а вторая находится в тени. — спутники будут общаться между собой с помощью лазеров, как это делают сейчас спутники Starlink. Предполагается запуск кластеров из 81 спутника, которые летают роем в радиусе 1 км — для оценки влияния радиации на чипы взяли TPU v6e и подставили под ускоритель частиц. Результаты оказались многообещающими. Хотя подсистемы памяти оказались наиболее чувствительным компонентом, они начали демонстрировать отклонения только после накопленной дозы в три раза выше ожидаемой (за пятилетнюю миссию). Не было зафиксировано необратимых отказов памяти. То есть в теории даже чипы as is подойдут, без существенных изменений в тех. процессе. — ожидается, что цена вывода килограмма полезной нагрузки на орбиту упадёт до $200 в середине 30-ых годов. При такой цене стоимость запуска и эксплуатации космического дата-центра может стать примерно сопоставимой с затратами на электроэнергию аналогичного наземного дата-центра. В общем, вот в такие времена живём, мечтаем по-крупному!