Анализ данных (Data analysis)

@data_analysis_ml · ai · Russian · active

Data science, наука о данных. @haarrp - админ РКН: clck.ru/3FmyAp

Subscribers 52K Subscribers, last 30 days: 52K → 52K +0 24h
Reach per post (ERR) 11.1%5.8K avg views
Posting 5.0/day last 1 hour ago
Reactions per 1K views 31.5 ❤ 👍 🔥
  1. 🧪 Новый бенчмарк проверяет не то, что ИИ знает, а способен ли он сам открыть неизвестные правила Исследователи Tencent Hunyuan, Fudan и Tsinghua представили ExplorationBench. В нем модели попадают в «чужие миры», где привычная логика намеренно сломана: операторы работают иначе, а правила вывода изменены. Поэтому выученные знания почти бесполезны. Модель получает неполное руководство и несколько раундов, чтобы самой придумывать эксперименты, проверять гипотезы и восстанавливать скрытые правила. Результаты интересные: - без обратной связи модели стартуют максимум с 15,7%; - после четырех раундов лучший результат в AlienCode достигает 89%; - у 9 из 10 систем собственные эксперименты оказались эффективнее повторения уже готовых; - даже когда модель правильно знает все нужные правила, задача решается лишь в 73,4% случаев; - один и тот же ИИ при одинаковом бюджете мог показать от 5,7% до 79%. Главный вывод: уметь рассуждать по известным правилам и уметь самостоятельно открывать новые правила - это совсем разные способности. Paper: https://arxiv.org/abs/2609.30199 Leaderboard: https://explorationbench.com/

  2. 🛡 Большая подборка по безопасности AI-агентов и их skills На GitHub появился репозиторий Awesome Agent Skills Security - коллекция исследований, стандартов и инструментов по защите агентов, которые работают с внешними tools, plugins и skills. Внутри собраны материалы по: - prompt injection через инструменты; - poisoning и supply-chain атакам; - утечкам данных и чрезмерным правам; - sandboxing и runtime monitoring; - red teaming и benchmarks; - OWASP, MITRE ATLAS, NIST и IETF-стандартам для агентных систем. Особенно полезно тем, кто уже строит MCP/agent-инфраструктуру: список хорошо показывает, насколько сильно поверхность атаки выросла после того, как модели получили доступ к файлам, API и реальным действиям. https://github.com/LLMSecurity/awesome-agent-skills-security

  3. 💸 Anthropic опубликовала практический гайд по снижению расходов на Claude API Главная мысль: оптимизировать нужно не цену токена, а стоимость успешно выполненной задачи. Более дорогая модель иногда оказывается дешевле, если решает задачу за меньшее число шагов. Anthropic предлагает такой порядок: - сначала включить prompt caching - для агентных циклов это один из самых сильных способов экономии; - убрать лишние входные и выходные токены; - сокращать ненужные итерации агента; - для фоновых задач использовать Batch API, где стоимость токенов снижается на 50%; - только после этого экспериментировать с effort и более дешевыми моделями. Интересный вывод: переход на более дешевую модель - далеко не первый шаг оптимизации. Сначала стоит выжать максимум из архитектуры запросов и кеширования. Гайд: https://github.com/anthropics/skills/blob/main/skills/claude-api/shared/cost-optimization.md

  4. 🔥 OpenAI обсуждает новый раунд минимум на $30 млрд при оценке около $1,4 трлн до инвестиций. По данным Bloomberg, переговоры пока на ранней стадии, а параметры сделки ещё могут измениться. Такой раунд позволит OpenAI привлечь крупный капитал без выхода на биржу. Сэм Альтман ранее исключил IPO в 2026 году, назвав нынешний момент «неподходящим» для размещения из-за объёма работы по безопасности и контролю ИИ. При этом бизнес продолжает быстро расти. Axios сообщает, что годовой темп выручки OpenAI приближается к $70 млрд, примерно на 70% выше, чем в начале квартала. Выручка от корпоративных клиентов с июля выросла более чем вдвое. Если раунд состоится на обсуждаемых условиях, OpenAI закрепится среди самых дорогих частных технологических компаний в мире ещё до возможного IPO.

  5. ⚡️ GPT-6 Astra помогла найти контрпримеры к гипотезе о плазме, которой почти 60 лет. В термоядерном реакторе раскалённую плазму удерживают магнитным полем. Для этого важно понимать, может ли поле сложной трёхмерной формы образовывать вложенные поверхности, вдоль которых движется плазма. В 1967 году физик Гарольд Грэд предположил, что гладкие равновесные решения такого типа без дополнительной симметрии вряд ли существуют. Физик Мэтт Ландреман представил два семейства точных аналитических решений: магнитное поле и давление в них описываются явными формулами, а вложенные поверхности существуют даже без осевой симметрии. Автор пишет, что решения были найдены с помощью GPT-6 Astra Pro, после чего он вручную проверил все уравнения. Другая группа исследователей уже недавно опровергла гипотезу Грэда доказательством существования таких решений. Новая работа добавляет конкретные формулы, которые можно использовать, в частности, для проверки программ, моделирующих магнитное удержание плазмы. Статья: https://arxiv.org/pdf/2609.26742

  6. ⚡️ OpenAI на DevDay показала сразу несколько крупных новинок. Главное: - GPT-6.1 Sol - почти уровень GPT-6 Astra, но примерно в 5 раз дешевле. Уже доступна платным пользователям; - ChatGPT Space - общее рабочее пространство с документами, комментариями и возможностью подключать ChatGPT, Codex и Dots прямо к задачам; - Pro Max за $500/мес - в 25 раз больше лимитов, чем в Plus; - Ultrafast для GPT-6 Astra - до 8 раз быстрее в Codex, пока только на максимальной подписке.

  7. edited

    ИИ уже может принять в контекст миллионы токенов. А мы всё чаще просим его написать даже ответ на письмо из двух предложений. Автор нового препринта называет это петлёй делегирования: ИИ справляется с задачами всё лучше → мы отдаём ему всё более простую работу → реже упражняемся сами → делегировать становится ещё легче. В работе приводят яркое сравнение: контекстное окно моделей выросло с 512 токенов в 2017 году до 2 млн в 2026-м. Но человеческие «1 800 токенов внимания» из той же работы - расчётная оценка, а не прямое измерение памяти. Сравниваются разные вещи, поэтому точный разрыв «ИИ против человека» из этих цифр выводить нельзя. Полезнее самого сравнения: поручить ИИ разобрать огромный отчёт разумно. А если постоянно отдавать ему задачи, которые сам сделал бы за полминуты, можно лишиться повседневной практики. Вредит ли это навыкам в долгую, пока не доказано: автор прямо называет петлю гипотезой, которую ещё предстоит проверить. Какую последнюю задачу вы отдали ИИ, хотя могли сделать сами за 30 секунд? Работа: https://arxiv.org/abs/2603.26707

  8. Anthropic готовится к IPO с необычным предупреждением для инвесторов: её модели могут представлять «катастрофический или экзистенциальный риск для человечества». Об этом говорится в проспекте, с которым ознакомилось Reuters. Компания описывает возможные попытки моделей сопротивляться отключению, скрывать информацию и вести себя подобно шантажисту. Это предупреждение о рисках, а не утверждение, что такие сценарии уже произошли при использовании Claude. Цифры за 2025 год тоже привлекают внимание: - Выручка выросла в 12 раз, почти до $4,6 млрд. - Операционный убыток составил $8,06 млрд. Чистый убыток достиг $42 млрд, но около $34 млрд из этой суммы пришлось на бухгалтерскую переоценку. - На вычисления и инфраструктуру ушло $7,33 млрд. Будущие обязательства в этой сфере оцениваются в $518 млрд. - Почти четверть выручки обеспечили всего два клиента. В проспекте около 80 из 261 страницы посвящены рискам. Anthropic также предупреждает, что модель может распознать проверку безопасности, а некоторые её возможности могут обнаружиться лишь после запуска. При этом основатели хотят сохранить контроль после IPO: одна акция класса F даст их структуре 50,1% голосов по ключевым вопросам. Компания прямо допускает, что решения руководства могут расходиться с финансовыми интересами акционеров. Возможная оценка Anthropic выше $2 трлн пока остаётся ожиданием, а не объявленной ценой размещения. Инвесторам предстоит оценить быстрый рост компании вместе с расходами, концентрацией клиентов и теми рисками ИИ, о которых она предупреждает сама. https://www.reuters.com/legal/transactional/anthropic-leaders-control-ai-lab-via-founder-llc-promote-public-good-over-market-2026-09-29/

  9. В рейтинге AA Intelligence Index четыре из пяти самых умных моделей теперь от Claude. Мало того, Sonnet 5.5 набрал больше баллов, чем Fable 5.1. Похоже, версия Fable, которую Anthropic дистиллирует в Opus и Sonnet, какая-то запредельно сильная.

  10. repost

    Anthropic выпустила Claude Sonnet 5.5 — новую модель с упором на код, агентные задачи и повседневную работу. Что нового: 30%+ быстрее Sonnet 5 до 30% дешевле на задачу за счёт меньшего расхода токенов 70,6% в Terminal-Bench 4.0 против 10,3% у Sonnet 5 55,5% в CursorBench 4.0, примерно на 2 пункта ниже Opus 5.5 на GDPval-AA модель почти сравнялась с Opus 5.5 лучше работает с длинными задачами, изображениями, документами, таблицами и презентациями Особенно заметный скачок - в программировании. Anthropic пишет, что Sonnet 5.5 быстрее разбирается в кодовых базах, делает меньше вызовов инструментов и тратит меньше шагов на выполнение задач. Цена API: $2 / 1M входных токенов $10 / 1M выходных токенов $0,20 / 1M cache reads Модель уже доступна в Claude, API, AWS, Google Cloud и Azure. API ID: claude-sonnet-5-5 https://www.anthropic.com/claude-sonnet-5-5

  11. 🧠 Джон Маккарти - человек, который дал имя искусственному интеллекту John McCarthy (1927–2011) - один из основателей современной AI-индустрии и человек, который ввёл сам термин Artificial Intelligence. В 1955 году вместе с Марвином Мински, Натаниэлем Рочестером и Клодом Шенноном он подготовил предложение для летнего проекта в Dartmouth College. Именно там появилась идея, что обучение и другие проявления интеллекта можно достаточно точно описать, чтобы их могла воспроизводить машина. В 1956 году Маккарти организовал Dartmouth Summer Research Project — событие, которое сегодня считают точкой рождения AI как отдельной научной области. Ещё несколько важных фактов: - в 1958 году создал Lisp, который на десятилетия стал главным языком AI-исследований; - участвовал в создании MIT AI Project; - основал Stanford Artificial Intelligence Laboratory (SAIL); - внёс вклад в time-sharing, garbage collection, situation calculus и представление common-sense knowledge. За свои работы Маккарти получил Turing Award в 1971 году и National Medal of Science в 1990-м. Во многом именно он помог превратить идею «мыслящей машины» в самостоятельную область компьютерных наук.

  12. 📊Платформа данных в корпоративном контуре компании Когда компания строит собственную платформу данных, мало просто выбрать СУБД или объектное хранилище. Нужен полноценный стек: от хранения и обработки до оркестрации пайплайнов и визуализации результатов. Именно такой сценарий теперь можно реализовать с помощью Stackland — платформы, которая разворачивается локально в контуре компании. В обновлении появились PaaS-компоненты Yandex Cloud, из которых можно собрать полноценную data-платформу: 🔹 Managed Service for ClickHouse® и Managed Service for PostgreSQL — хранение и обработка данных. 🔹 Yandex Managed Service for Trino + Yandex Object Storage — основа аналитического слоя: S3 обеспечивает масштабируемое хранение данных, а Managed Service for Trino — быстрый SQL-доступ к ним. 🔹 Managed Service for Apache Airflow® — управление оркестратором потоков операций по обработке данных. 🔹 Yandex DataLens — BI-система для визуализации данных. При этом все основные компоненты платформы разворачиваются внутри инфраструктуры компании. Для data-команд это интересный сценарий: вместо набора разрозненных инструментов можно собрать единый технологический контур, закрывающий ключевые этапы работы с данными — хранение → обработка → оркестрация → аналитика → визуализация.

  13. edited

    🚨 Китайские AI-модели обработали в 4,4 раза больше токенов на OpenRouter, чем американские За неделю с 21 по 27 сентября модели китайских разработчиков обработали на OpenRouter 62,22 трлн токенов против 14,2 трлн у американских моделей. Китай сохраняет лидерство уже 22 недели подряд. Топ недели: - DeepSeek V4.1 Flash — 19,6T токенов, +24%; - GLM 5.3 Flash — 16,3T, +16%; - Space Bunny Alpha — 13,9T, новая модель; - Tencent Hy4 — 9,64T; - MiMo-V2.6-Flash от Xiaomi — 5,51T. Особенно выделяется Space Bunny Alpha: анонимная модель появилась на OpenRouter всего несколько дней назад и уже заняла третье место. Независимый анализ токенизатора показал совпадение с семейством MiniMax на всех 50 тестовых строках, но разработчик модели официально не подтверждён. https://openrouter.ai/rankings #openrouter

  14. 🔎 Hyperresearch превращает Claude Code и Codex в полноценного Deep Research-агента Hyperresearch - open-source harness для глубоких исследований поверх Claude Code и OpenAI Codex. Что умеет: - запускать 16-шаговый research pipeline из одного запроса; - собирать сотни источников за один запуск; - проверять, действительно ли каждая цитата подтверждает утверждение; - выявлять дубли и перепечатки, чтобы не считать их независимыми источниками; - прогонять черновик через несколько критиков; - сохранять все найденные материалы в постоянное searchable-хранилище; - восстанавливать исследование после падения с нужного шага; - искать статьи, книги, clinical trials, SEC filings и макроданные через единый интерфейс. Есть режимы от быстрых исследований примерно на 30 минут до экспериментальных «dissertation runs» на десятки тысяч слов и сотни источников. Автор также заявляет лидерство в собственных тестах на DeepResearch-Bench, но независимая валидация пока ожидается. Работает с Claude Code и Codex. GitHub: https://github.com/jordan-gibbs/hyperresearch

  15. ⚡ Polars обработал 1,5 ТБ биржевых данных чуть больше чем за 3 минуты BMLL показала, как Polars справляется с масштабными market-data нагрузками, где pandas уже начинает тормозить. Главное из тестов: - один день торгов по 11 000+ американских бумаг: 4,3 секунды на загрузку против примерно 3,5 минут у pandas; - это около 48× быстрее; - 94 ГБ данных Шанхайской биржи: загрузка, as-of join и классификация примерно за 36 секунд; - более 1,5 ТБ данных за 16 торговых дней: финальная агрегация примерно за 3 минуты. Почему Polars так хорошо масштабируется: - lazy execution; - эффективные as-of join; - использование всех CPU-ядер; - работа с полным датасетом без необходимости заранее вырезать выборку. Все тесты запускались на одной машине с 192 CPU cores и 1,5 ТБ RAM. Для quant и data engineering это хороший пример того, насколько сильно выбор dataframe-движка влияет на время анализа. Статья: https://pola.rs/posts/case-bmll/

  16. ⚡ Julia 1: decision-модель на 144 млн параметров, которая работает даже на CPU Supersonic Labs представила Julia 1 - компактную мультиязычную модель для принятия решений без генерации длинного текста. Она получает контекст, вопрос и от 2 до 20 вариантов, после чего выбирает лучший и возвращает оценки для каждого варианта. Главное: - всего 144,3 млн параметров; - работает полностью на CPU; - построена на базе mmBERT-small; - 73,15% на Typed Decisions против 72,7% у Jev reference; - 71,5% на MASSIVE сразу по 52 языкам; - на Apple M4 — до 51,2 решения/с в batch-режиме; - запускается даже на Android-планшете; - обучение и эксперименты обошлись команде примерно в $104. Модель подходит для routing, классификации, yes/no решений, ранжирования и выбора действий. Веса открыты под Apache 2.0. Проект: https://supersoniclabs.ia.br/julia-1/

  17. 🚨 Claude признали риском для нацбезопасности США и выкинули из военной цепочки поставок Апелляционный суд США решением 2–1 отклонил жалобу Anthropic и признал, что Пентагон мог считать использование Claude риском для национальной безопасности в рамках закона о безопасности цепочек поставок. Причина конфликта: Anthropic отказалась снять ограничения на использование Claude для полностью автономного летального оружия и массовой слежки внутри США. В решении суд отдельно отметил, что встроенные ограничения Claude уже мешали выполнению некоторых государственных запросов. В частности, коммерческая версия модели отказывалась обрабатывать отдельные задачи с секретными материалами и запросы CDC по исследованиям инфекционных заболеваний. Позиция большинства суда: важно не то, почему Anthropic ограничивает модель, а то, что компания технически способна менять её поведение и запрещать определённые сценарии использования. Для военной инфраструктуры этого оказалось достаточно, чтобы квалифицировать ситуацию как supply-chain risk. При этом дело ещё не обязательно закончено: Anthropic заявила, что не согласна с решением и рассматривает дальнейший пересмотр. Отдельный федеральный суд ранее признал параллельное ограничение по другому закону незаконным.

  18. Opus 5.5 пишет код, Fable подсказывает: в Claude Code появился советник Если основная модель у тебя Opus 5.5, квоту на Fable можно пустить в дело. Команда `/advisor fable` подключает Fable как советника, к которому Opus обращается сам. Происходит это в три ключевых момента: перед тем как взяться за план, когда одна и та же ошибка повторяется и перед тем как сказать «готово». Fable видит всю сессию целиком со всеми вызовами инструментов и даёт совет, а код по-прежнему пишет Opus. По деньгам это выгоднее, чем держать сильную модель на каждом шаге: советник включается только в точках принятия решений. Кэш промпта при включении советника не сбрасывается. Работает только через Anthropic API, на Bedrock, Vertex и Foundry недоступно. На части подписок Fable списывается с usage credits, и перед первым запуском нужно дать согласие через /model fable. Если советник молчит, проверь переменные CLAUDE_CODE_DISABLE_ADVISOR_TOOL и DISABLE_TELEMETRY: они его отключают. Рабочая схема: Opus 5.5 на high ведёт сессию, три сабагента на medium читают код, правят с тестами и ищут документацию, а Fable ждёт в стороне и включается, когда нужен второй взгляд. https://code.claude.com/docs/en/advisor

  19. Xiaomi MiMo-V2.6-Pro вышла в лидеры среди моделей с открытыми весами по индексу Artificial Analysis. Её результат - 46 баллов против 47 у GPT-5.6 Sol (max). При этом расчётная стоимость задачи в этом тесте - $0,13 против $1,99. Это сравнение в рамках методики бенчмарка, а не цена любой задачи в API. Модель принимает текст, изображения, видео и аудио; контекст — 1 млн токенов. Весá доступны под MIT. Xiaomi также опубликовала технический отчёт, код RL-обучения и более 7000 учебных сред. Цены API остались на уровне V2.5. Модель - https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-RL Релиз Xiaomi - https://mimo.mi.com/docs/en-US/news/latest/v2-6

  20. Older posts