Сиолошная

@seeallochnaya · ai · Russian · active

Канал SeeAll'а с новостями (и мыслями о них) из мира NLP, VR и космоса. Более подробно смотри в первом сообщении в канале (оно закреплено). А еще у нас есть чат! Заходи: https://t.me/+i_XzLucdtRJlYWUy

Subscribers 80.7K tracking since 23 Oct
Reach per post (ERR) 39.0%31.5K avg views
Posting 1.3/day last 2 days ago
Reactions per 1K views 9.8 👍 🔥 🤡
  1. edited

    На прошлой неделе видел новость, что OpenAI готовит лайнап: новая модель (выйдет скоро), новая структура компании и перестановки, новые полиси. Кажется, началось 🌚 — сегодня опубликовали 13-страничный документ с предложениями для правительства, а в мае откроется воркшоп в Вашингтоне. Рекомендую читать документ в оригинале, там и про раздачу грантов на $100к-1M, и про AI Safety, но я хотел поделиться несколькими пунктами, которые, как мне кажется, вызовут большую дискуссию: Фонд общественного благосостояния. OpenAI предлагает предоставить каждому гражданину США прямую долю в экономическом росте, обусловленном развитием ИИ. Это планируется сделать через фонд под государственным управлением, стартовый капитал которого частично сформируют сами ИИ-компании. Фонд мог бы инвестировать в диверсифицированные долгосрочные активы, отражающие рост как ИИ-компаний, так и более широкого круга организаций, внедряющих и использующих ИИ. Налоги на роботов. В документе выдвигается идея введения налогов, связанных с автоматизированным трудом, а также смещения налоговой базы с фонда оплаты труда в сторону налогов на прирост капитала и прибыль корпораций. Это связано с тем, что ИИ может резко сократить налоговые поступления от заработных плат, за счет которых финансируются программы социального обеспечения, льготного медицинского страхования и продовольственной помощи. Четырехдневная рабочая неделя. OpenAI предлагает стимулировать компании и профсоюзы к запуску пилотных проектов по переходу на 32-часовую рабочую неделю с сохранением полной зарплаты. Таким образом, эффективность от использования ИИ будет конвертироваться в свободное время для сотрудников — своеобразный «дивиденд эффективности». «Право на ИИ». В плане доступ к ИИ позиционируется как такая же базовая потребность, как грамотность, электричество и интернет. Подчеркивается, что этот доступ должен быть по карману работникам, малому бизнесу, школам, библиотекам и социально уязвимым группам населения. Конкретики с цифрами нет, так как документ призван помочь начать дискуссию.

  2. С некоторой периодичностью попадаются посты в духе «Claude снёс мою базу данных», «Claude удалил важные файлы» или распространённое «Claude написал фейковые тесты и отчитался, что всё работает, хотя я просил проверить на реальных тестах». При этом про Codex я такого не читал — мб иногда что-то не то с тестами, но не звучит, как попытка уклониться от выполнения задачи. Интересно, с чем это может быть связано? У меня есть 3 объяснения: 1) банально разные модели и разное поведение, Anthropic проиграли в алайнмент модели 2) случаи очень редки, и так как у Codex меньше пользователей (хотя я не поверю в 10x разницу), то случайности не случаются 3) я в пузыре и мне просто такие случаи не попадаются, а на самом деле они на каждом шагу Сам я гоняю Codex в Full Access режиме 😳 но это я смелый такой до первого инцидента. Расскажите, были ли у вас неприятности с Codex? 🤖

  3. edited

    Свежий материал от TheInforamtion: DeepSeek будут предоставлять свою модель DeepSeek V4 эксклюзивно на чипах Huawei, показывая самодостатчноссть Китая. Главное: — первоначально релиз был намечен на февраль, однако адаптация модели под чипы Huawei оказалась непростой задачей. Инженеры DeepSeek долгое время создавали и запускали свои модели, используя аппаратное и программное обеспечение от Nvidia, и многие инженерные оптимизации для уменьшения цены заточены именно под зелёных. — Китайские технологические гиганты, в том числе Alibaba Group, ByteDance и Tencent Holdings, уже разместили крупные заказы на готовящиеся к выпуску чипы Huawei общим объемом в сотни тысяч штук. — DeepSeek также разрабатывает два дополнительных варианта V4: каждый из них оптимизирован под разные задачи, и при этом оба созданы для работы на китайских чипах. — Будут использоваться чипы Ascend 950PR, вычислительная мощность которых в 2,8 раза превосходит показатели Nvidia H20. Но чипы уступает H200. По данным компании Bernstein, Huawei сможет полностью преодолеть это отставание не раньше 2027 года, когда выйдет чип следующего поколения Ascend 960, чьи вычислительные возможности будут сопоставимы с чипами H200 (выпущенными...во втором квартале 2024-го). — 950PR заточены на инференс, а в четвертом квартале Huawei планирует выпустить Ascend 950DT — чип, предназначенный для обучения. === Компании надо успевать до релиза свежих моделей OpenAI и Anthropic, иначе можно отстать по метрикам (моё понимание такое, что релиз несколько раз из-за этого откладывался). Хуже них сейчас, акжется, только компании META 😳

  4. repost

    Двигатель, который смог. Вы может видели, как корабль Orion и ракету SLS окрестили «летающим музеем». Это, в целом, справедливый комментарий, учитывая сколько компонентов от программы Space Shuttle переиспользуется в этой системе. Но это отдельная большая тема. Знакомьтесь, это двигатель OMS-E, он же AJ10-190, который разогнал корабль Orion по траектории к Луне. Это не какой-то особо выдающийся двигатель, да ещё и с тягой в 2.5 тонн силы, но для Ориона этого более, чем достаточно. А теперь 2 забавных факта про этот агрегат: - AJ10-190 это в том числе дериватив AJ-137 — того самого двигателя, который выполнял аналогичную задачу на корабле Аполлон. Так что определённый символизм тоже есть. Вообще вариаций этого двигателя так много, что целого поста не хватит. - А конкретно это изделие OMS-E до этого 6 раз летало на Шаттле Atlantis — буквально двигатель с налётом. Причём 2 миссии с выводим модулей Destiny и шлюза Quest на МКС. Но после вывода к Луне несколько дней назад включать OMS больше не будут, а позже он сгорит вместе с европейским сервисным модулем при входе в атмосферу в конце миссии Artemis 2.

  5. Вот в этом посте ещё в декабре писал, что план по закупке мощностей Anthropic не выглядит амбициозным, и что они рискуют начать проигрывать рынок из-за невозможности обслужить больший спрос. Roon (анонимный сотрудник OpenAI) написал: «Сейчас забавно, что месяц или два назад Дарио на подкасте говорил, что «другие компании» безответственно закупают так много вычислительных мощностей». Прикрепил релевантный сегмент. Dario правильно говорит, что количество мощностей в мире ограничено. Но из этого выходит, что если вдруг какой-то игрок займёт большую часть, а вы сообразите, что нужно докупать, но позже — объема может уже не быть.

  6. На первой картинке — рост количества ежедневных визитов на claude.ai с начала года от Similarweb. Про то, что выручка компании удвоилась за первые 2 месяца года я уже писал. Anthropic выросли огромными темпами, и по моему мнению столкнулись с проблемой: не хватает мощностей. Это выражено в более частых ответах от сервера про перегрузки, официальном снижении недельных лимитов на подписках для Claude Code на не очень большой процент (а не официально и по жалобам в чате + на реддите — на огромный; правда не ясно, вызвано ли это багами, новыми фичами вроде памяти или чем-то ещё). Плюс с сегодняшнего дня официально запрещено пользоваться подпиской для запуска OpenClaw — набравшего сумасшедшую популярность агента (...разработчика которого уже купили OpenAI). Всё больше пользователей переходит к OpenAI, даже если считают, что их модели хуже — просто потому что лимиты позволяют работать. Численной оценки этого тренда я не видел, но думаю пока это однозначные проценты от аудитории. Плохо ли от этого Anthropic? Думаю, что нет — их сервисы и так на пике нагрузки, и мощностей не хватает. Если бы им дали +25% аудитории — не факт, что они смогли бы их обслужить с тем же уровнем качества; возможно, пришлось бы ухудшать сервис (некоторые верят, что это уже происходит, и что модели оглупели; я в такое не верю). На второй картинке вы видите количество мощностей OpenAI и Anthropic, и несмотря на то, что обе компании стремительно наращивают объемы, к концу года (третья картинка) они едва ли смогут их удвоить. Удвоится ли спрос на компьют за оставшиеся 9 месяцев? С учётом желания компаний запустить бОльшие модели и спроса на кодинг-агентов — я думаю, что да. Исходя из этого, мне кажется достаточно вероятным поднятие цен на услуги, от подписок до цен моделей в API. И вопреки тому, что будут писать сторонники пузыря — произойдет это из-за роста спроса, который невозможно поддержать предложением, а не его падения.

  7. Google выпускают обновление линейки Gemma — стала доступна версия с номером 4 https://deepmind.google/models/gemma/gemma-4/ Всего доступны модели 4 размеров: поменьше E2B, E4b (бывшие Gemma 3n/Gemini Nano); и побольше, 26A4B, 31B (Dense). Модели поддерживают рассуждения и вызов инструментов, понимают картинки и видео. Заявлена поддержка 35 языков (но тренировали на 140). Контекст 128к/256к. E2B и E4B (для смартфонов) поддерживают аудио на входе — можно делать распознавание голоса. Веса: https://huggingface.co/collections/google/gemma-4

  8. edited

    Запуск Artemis II ровно через полчаса тут: https://www.youtube.com/watch?v=Tf_UjBMIzNo За 10-дневную миссию космонавты облетят Луну, а человечество поставит новый рекорд в удалённости человека от Земли (пока будут за Луной).

  9. edited

    Я уже писал, а вы наверняка читали про список Эрдёша — набор из 700+ открытых математических задач. Из этого списка несколько задач уже были решены ИИ — некоторые через непосредственно доказательство, некоторые через подсказку идей людям, а другие — за счёт поиска в литературе. Иногда так бывает, что доказательства были спрятаны и встречались просто как промежуточный шаг в вообще ортогональных работах (да ещё и не на английском). Поэтому одним из больших вопросов, который висел в воздухе, было наличие доказательств для других задач в интернете. В январе Google выпустили статью, в которой основательно взялись за список Эрдёша — они запустили большой пайплайн на основе DeepResearch с целью поискать уже имевшиеся решения + сгенерировать новые. Многие из кандидатов — воронку вы видите на картинке — были оценены математиками, и в конечном итоге это вылилось в 13 корректных решений (9 — на основе существующей литературы). В твиттере я спросил будущего сотрудника OpenAI и первого человека, который с помощью ChatGPT Pro нашёл ИИ-решение для задач Эрдёша и FrontierMath OpenProblems, можно ли сказать, что по сути тут мы закрываем список уже решенных задач, и всё, что будет дальше — это абсолютно новые доказательства (тут ещё вспомним, что Google видит самую большую долю интернета по сравнению с кем либо, в ~3 раза больше OpenAI и ещё больше по отношению к другим игрокам; так что если не нашли они — вероятно, не найдет никто). Он ответил: «Я думаю, что в плане полных прямых решений мы, вероятно, нашли их все с достаточно высокой степенью достоверности. Менее ясны частичные результаты/косвенные решения, когда ответ следует из применения известной теоремы и т. д.» === Сегодня OpenAI опубликовали статью, в которой обнародовали ещё 3 решения от некой внутренней модели. Там же они пишут: «Имея доказательства, мы решили проверить, сможет ли GPT 5.4 Pro воспроизвести их; верхнюю границу в первом результате и третий результат нам удалось получить. В каждом случае мы выполнили менее 10 идентичных попыток с Pro-моделью; наш второй результат не был решен Pro-моделью». Задачи не относятся к тем, где доказательства были найдены в интернете ранее (иначе б они не оставались открытыми). Эти 3 решения пока отнесём к категории «ничего особенного», но по-видимому всё, что будет дальше, уже достаточно сложно + почти наверняка не имеет ответов в литературе.

  10. edited

    Со стороны защиты в целом доступны те же инструменты — агенты для чтения всего кода и изменений в нём. Например, атака на прошлой неделе на axios, одну из самых популярных библиотек для JavaScript, добавляла одну зависимость очень странного содержания, которая выкачивала что-то с интернета (очень плохой паттерн). CEO Cognition (которые делают Devin) похвастался, что их агент обнаружил проблему для множества их клиентов в течении часа — за несколько часов до того, как о ней начали сообщать публично. Интересно, появится ли фонд/эндаумент, собирающий деньги на ИИ-защиту самых популярных и широкоиспользуемых библиотек?

  11. edited

    За последнюю неделю было много новостей про взломы и утечки. Я не думаю, что все из них обоснованы внедрением ИИ в процессы разработки, но это хороший момент поговорить про будущее. С релизом Opus 4.6 Anthropic выпустили блогпост про то, как они искали 500 уязвимостей высокого уровня серьезности в коде опенсурс проектов. Кроме этого, они отправили множество отчётов о проблемах в браузер Mozilla — 14 высокого уровня и 7 умеренного (и ни одной критической). На днях посмотрел доклад Nicolas Carlini, в прошлом — исследователя в области кибербезопасности, а ныне сотрудника Anthropic, который как раз принимал участие в вышеописанных активностях. В докладе он поделился, что с помощью моделей он нашёл критическую уязвимость в коде ядра Linux. За всю свою прошлую карьеру у него на счету были только уязвимости высокого уровня серьезности, а тут — критическая. И эта уязвимость существовала в коде с 2003-го года — никто не исправил её за это время, в том числе ни один из инструментов, которые регулярно сканируют код такой важной штуки, как Linux. Так как сам я не разбираюсь в кибербезопасности, я обсудил с ChatGPT серьезность этой уязвимости. Она позволяет записать несколько сотен байт информации в место, соседствующее в памяти с используемой переменной. С некоторой вероятностью можно перезатереть несколько важных переменных, которые лежат в памяти, выделенной под само ядро, а не для пользователя. Достаточно часто такие уязвимости можно свести к крашу системы, то есть отключению сервера. Если атаку провернуть на множество компьютеров в одной системе — можно положить их все. К посту прикреплена картинка с комментарием к обсуждению: «В списке рассылки по безопасности ядра мы наблюдаем огромный всплеск количества отчетов. Года два назад их было по 2–3 в неделю, затем за последний год цифра выросла примерно до 10 в неделю, причем весь этот прирост состоял исключительно из сгенерированного ИИ мусора. А теперь, с начала года, мы получаем около 5–10 отчетов в день, в зависимости от дня недели. При этом сейчас большинство из этих отчетов — действительно по делу, и их настолько много, что нам даже пришлось привлечь на помощь дополнительных мейнтейнеров» Скоро, если не уже, инструменты кибербезопасности на основе LLM появятся на вооружении государств, и они будут находить сотни уязвимостей, которые кто знает как будут использоваться. Их гораздо больше и они гораздо незаметнее, чем летающие бомбардировщики.

  12. repost

    Весь день наблюдаю, как люди удивляются качеству кода в слитой CLI'шке Claude Code. Да, котят, чтоб зарабатывать миллиарды, вам не обязателен код по заветам Лайнуса, Кнута или Ритчи.

  13. repost

    Artemis 2: начался отсчёт до старта первой лунной миссии за 54 года. NASA приняли решение — старт Artemis 2 назначен на 1 апреля. В этот раз не шутка. Уже запустили 50-часовой таймер перед попыткой запуска корабля Orion с экипажем к Луне 1 апреля по Флориде. Прогноз погоды пока благоприятный, но следят за солнечной активностью. Риск переноса (у ракеты SLS это обычное дело) по техническим причинам всё ещё велик, но 2-часовое окно старта можно перенести на 2 апреля при необходимости. Уже прошла перекличка и в ближайшие часы начнётся подготовка топливной инфраструктуры для заправки водородом и кислородом, и включат подачу питания на корабль Orion, ICPS и центральную ступень. Через ~14 часов должна завершиться предполётная подготовка 4 двигателей RS-25. Скрестим пальцы. 📸: The Launch Pad

  14. Что я заметил за годы ведения канала с открытыми комментариями — некоторые обсуждения выглядят так:

  15. edited

    В комментариях попросили запустить ChatGPT Pro с просьбой сделать аналитику того, каким мог бы быть показатель OpenAI, если бы они считали так же, как Anthropic. Мне тоже стало интересно. Чат: ссылка TLDR: ARR OpenAI на конец февраля была $25B, с корректировкой скорее $33-34B (я ожидал, что ниже — не думал, что Microsoft столько продаёт). Как GPT сделала оценку — нашла пост TechCrunch с разбором утёкших финансовых документов Microsoft, где упоминались размеры выплат OpenAI (те самые 20% по договору). Потом сопоставила это с выручкой на даты в утечках, посчитала долю, и экстраполировала. Так что цифра может быть завышена, если выручка OpenAI росла быстрее (например, из-за роста популярности Codex, в то время как Microsoft, например, могли продавать просто API). С другой стороны GPT говорит, что в утечках были только данные Azure, а не по всем возможным Microsoft-продуктам с OpenAI внутри, поэтому цифра может быть больше. Почему я об этом вообще пишу? Мне кажется это важно для того, чтобы понимать, какой спрос на модели, сколько люди суммарно реально платят за ИИ-продукты. Получается, что у всего лишь двух игроков, OpenAI и Anthropic (вместе с их провайдерами) суммарный ARR уже перевалил за $55B. Но рост супер стремительный, и к концу года мы можем достаточно легко увидеть взятие планки в $100B.

  16. Недавно я писал про взрывной рост выручки Anthropic и чуть менее взрывной у OpenAI за первые 2 месяца этого года. На этой неделе у TheInformation появилось больше деталей о том, в чём разница подходов к подсчёту у обеих компаний. OpenAI умножает свою общую выручку за последний четырехнедельный период на 13 (то есть получается цифра на 52 недели). Anthropic рассчитывает свою выручку в годовом исчислении, беря выручку от API за последние четыре недели и умножая ее на 13, а затем прибавляя еще одну цифру: ежемесячную регулярную выручку от подписок на чат-бота, умноженную на 12. Ежемесячный показатель, используемый для расчета регулярных подписок, основывается на количестве активных подписок в день расчёта. Пока выглядит +- похоже, но самое большое различие кроется вот в чём: — OpenAI делится 20% своей выручки с Microsoft в рамках их многостороннего коммерческого соглашения, однако в финансовой отчетности OpenAI продажи учитываются до того, как компания отдает Microsoft ее долю. Взамен, Microsoft отдаёт 20% своей выручки с моделей и сервисов OpenAI — и вот эти 20% компания засчитывает себе в выручку. — У Anthropic нет соглашений о том, чтобы делиться частью от всей своей выручки с каким-либо облачным провайдером. Однако, как и OpenAI, они согласились делиться с облачными партнерами долей от продаж ими ее моделей. При этом Anthropic записывают в выручку все деньги, уплаченные за сервисы у сторонних провайдеров. То есть если вы тратите $10 на GPT в Azure, облаке Microsoft, OpenAI запишет себе в выручку $2, а если тратите $10 на Claude Code, развёрнутый на дата-центре Google на их же собственных чипах TPU, то Anthropic запишет себе в выручку $10. И это касается не только Claude Code, но и в целом любого использования моделей компании. (Anthropic не меняли способ расчёта, недавний рост выручки не обусловлен изменением методологии) Неизвестно, какая сумма приходит OpenAI от Microsoft, но думаю, что достаточно маленькая — в то время как почти вся выручка Anthropic приходит от их собственных сервисов, но развёрнутых на чужой инфраструктуре. === То есть различия в бухгалтерском учете выручки между OpenAI и Anthropic сводятся к тому, какая компания считается «принципалом» — стороной, которая контролирует услугу, предоставляемую клиентам. OpenAI считает Microsoft принципалом в отношении сервиса Azure OpenAI. Anthropic, в свою очередь, считает принципалом саму себя в отношениях с облачными партнерами. Может показаться, что это какие то махинации со стороны Anthropic, но на деле обе компании следуют Общепринятым принципам бухгалтерского учета (называется GAAP), но из-за того, что характер их сделок с облачными провайдерами заметно различается, их подходы к учету продаж через эти компании расходятся. К сожалению, по известным данным не получается рассчитать, насколько сильно это занижает показатели выручки OpenAI, чтобы сравнить с Anthropic, используя методику их расчёта.

  17. Older posts