Data science, наука о данных.
@haarrp - админ
РКН: clck.ru/3FmyAp
Subscribers52K +0 24h
Reach per post (ERR)11.1%5.8K avg views
Posting5.0/daylast 1 hour ago
Reactions per 1K views30.8❤ 👍 🔥
⚡️ Essential AI объявила о выпуске своей первой открытой модели - Rnj-1, пары из базовой и instruct-версии на 8B параметров.
Rnj-1 демонстрирует сильные результаты в Кодине, математике и STEM-задачах.
На SWE-bench модель показывает 20.8% в Verified-режиме (bash-only) - выше Gemini 2.0 Flash и сопоставимо с GPT-4o.
Вместо brute-force команда делала ставку на дисциплинированное проектирование: качественную подготовку данных, продуманные оптимизации и исследовательские методики для выполнения кода, infill-генерации и рассуждений.
Модель обучалась на кластере TPU и AMD-GPU, увидела почти 8.7 триллиона токенов, и её качество продолжает расти.
В компании говорят, что это только начало: Essential AI (22 человека) строит долгосрочную исследовательскую программу с новыми моделями, методами и прорывами в pipeline.
Blog → https://essential.ai/research/rnj-1
Model → https://huggingface.co/EssentialAI/rnj-1-instruct
⚡️ Tencent официально представила HY 2.0 - крупное обновление своей базовой модели.
Модель построена на архитектуре Mixture of Experts с общим размером 406B параметров и 32B активных.
Модель поддерживает контекст 256K токенов. HY 2.0 демонстрирует заметные улучшения на ключевых бенчмарках.
Главные достижения HY 2.0:
🧠 Reasoning: результат 73.4 на IMO AnswerBench - почти плюс 20 процентов, что закрепляет модель среди лидеров по математическому и научному мышлению.
🛠 Coding и Agents: скачок в SWE Bench Verified с 6.0 до 53.0, а Tau2 Bench вырос с 17.1 до 72.4.
⚡ Instruction Following: более стабильное выполнение сложных инструкций и естественный стиль ответов.
Модель выпускается в двух вариантах:
• HY 2.0 Think - для глубокого рассуждения, генерации кода и сложных задач
• HY 2.0 Instruct - для диалога, креативного письма и многотуровых контекстных бесед
🌐 Website: https://hunyuan.tencent.com
🔗 API Access: http://hunyuan.cloud.tencent.com/#/app/modelSquare
📄 Documentation: https://cloud.tencent.com/document/product/1729/104753
@data_analysis_ml
#AI #Tencent #Hunyuan #HY2 #LLM #MoE #DeepLearning #AIModels
⚡️ PaddleOCR-VL объяснили свою архитектуру и почему двухэтапный подход уверенно выигрывает у end-to-end моделей в сложных документах.
1) Этап 1: PP-DocLayoutV2 - система сначала понимает структуру страницы
Модель определяет, какие элементы находятся на странице и в каком порядке их нужно читать.
Используются RT-DETR для обнаружения текстовых блоков, таблиц, формул и графиков, а также Pointer Networks для предсказания человеческого порядка чтения.
Благодаря этому исчезают ошибки структуры, и получается чистый список элементов.
2) Этап 2: PaddleOCR-VL-0.9B — этап точного распознавания
Каждый элемент проходит через компактную, но очень точную VL-модель.
Она использует динамическое разрешение в стиле NaViT без искажений, ERNIE 4.5-0.3B для быстрого декодинга и двухслойный MLP-проектор для объединения визуальной и языковой информации.
Модель уверенно распознает текст, таблицы, графики и формулы при размере всего 0.9B параметров.
3) Зачем делить процесс на два этапа
Такой подход дает стабильную работу на много-колоночных и смешанных макетах, повышает скорость обработки, потому что элементы идут параллельно, и облегчает расширение под новые типы данных вроде кода или схем.
Специализированная задача получает специализированную модель.
4) Полный путь от PDF к структуре
Сначала документ анализируется, затем элементы вырезаются, после этого распознаются и в конце собираются обратно в структуру.
Результат получается в виде Markdown или JSON, которые готовы для поиска, RAG или автоматизации.
В следующем материале команда покажет внутреннюю «фабрику данных» из более чем тридцати миллионов примеров с автолейблингом и подбором сложных кейсов.
https://aistudio.baidu.com/paddleocr?lang=en
🧠Gemini 3 получил новый режим прокачанного мышления
В отличие от обычного “быстрого” ИИ-ответа, Deep Think не спешит:
он параллельно перебирает несколько идей, прогоняет задачу через несколько раундов рассуждений
и в итоге выдаёт более умный и нюансный результат.
Где это особенно полезно:
- сложное программирование и разбор багов
- задачи по математике
- сложные вопросы по науке и аналитике
Режим уже доступен пользователям Gemini Ultra в приложении: просто включи “Thinking” и выбери Deep Think в строке вод промпта.
https://blog.google/products/gemini/gemini-3-deep-think/
🧠 Memlayer: Умный слой памяти для LLM
Memlayer добавляет интеллектуальную память к любому LLM, позволяя агентам запоминать контекст и извлекать структурированные знания. С минимальной настройкой, он обеспечивает быстрый поиск и фильтрацию важной информации.
🚀 Основные моменты:
- Поддержка универсальных LLM (OpenAI, Claude и др.)
- Интеллектуальная фильтрация памяти с тремя режимами
- Гибридный поиск с использованием векторного и графового подходов
- Высокая скорость работы (<100 мс) и локальное хранение данных
📌 GitHub: https://github.com/divagr18/memlayer
#python
🔭 Вышло огромное исследование на 303 страницы от ведущих китайских лабораторий — подробный разбор того, как создают и обучают модели, ориентированные на написание кода, и как на их основе строят полноценные софт-агенты.
Вот что в нём разбирается:
1. Как формируют модель
- Сбор и очистка гигантских датасетов кода.
- Предобучение: модель впитывает реальные паттерны программирования в промышленных масштабах.
- SFT и RL: дополнительные этапы, где модель учат лучше следовать инструкциям, проходить тесты и избегать очевидных ошибок.
2. Как модели превращают в инженерных агентов
- Агент читает баг-репорт или фичу.
- Планирует шаги.
- Меняет файлы.
- Запускает тесты.
- Повторяет цикл, пока не добьётся результата.
3. Какие проблемы всё ещё остаются
- Работа с огромными репозиториями.
- Безопасность и надёжность генерируемого кода.
- Корректная оценка качества работы агентов.
- Реальные приёмы и лайфхаки, которые используют текущие команды.
Исследование - мощный срез состояния индустрии: от датасетов и архитектур до практических инженерных пайплайнов. Это именно то, как современные LLM превращаются в «второго разработчика» в команде.
https://arxiv.org/abs/2511.18538
@data_analysis_ml
🚀 Эксперимент InstantDB: нейромодели собрали полноценный 3D-шутер без единой строки ручного кода
InstantDB провели показательный эксперимент: три крупные модели - Codex Max 5.1, Claude Opus 4.5 и Gemini 3 Pro — получили задачу создать мультиплеерный 3D-шутер с картой, физикой, оружием, врагами и комнатами для игроков.
Все три модели успешно справились и представили рабочие FPS-прототипы.
Как распределились сильные стороны:
- Лучший фронтенд - Claude: наиболее аккуратные карты, визуальный стиль уровня Minecraft и плавные анимации.
- Лучшая серверная часть - Gemini: стабильный мультиплеер, минимум ошибок, грамотно реализованные комнаты и сохранения.
- Уверённое второе место по всем направлениям - Codex: качественно, предсказуемо, но без ярких преимуществ.
Эксперимент показывает, насколько быстро модели приближаются к созданию сложных игровых систем под ключ.
Демоверсии доступны для Codex, Claude, Gemini
Релиз Transformers v5 ! 🔥
Hugging Face выпустили Transformers v5 - обновление, которое стало логичным итогом бурного роста всего стека за последние годы.
Цифры впечатляют:
- 20k → 3 млн+ установок в день
- 40 → 400+ поддерживаемых архитектур
- ~1k → 750k+ чекпоинтов
- 1.2 млрд+ общих установок
Что нового в v5:
- полностью PyTorch-ориентированная архитектура
- модульные определения моделей
- подход quantization-first
- OpenAI-совместимый Transformers Serve (включая Responses API)
Transformers становится ключевым фундаментом открытого AI/ML-стека - для обучения, дообучения и моделей.
Новый этап экосистемы официально начался.
https://huggingface.co/blog/transformers-v5
🚀 Bytedance представила новую модель для кода - Doubao Seed Code
Новая версия умеет не только писать и понимать код, но и принимать изображения на вход, что открывает возможности для визуального анализа задач программирования.
Что известно:
- Поддержка image input
- Опубликованы бенчмарки и цены
- По результатам тестов, модель опережает Sonnet 4.5 на SWE-Bench-Verified и Multi-SWE,
но немного уступает на Terminal Bench
🧠 Doubao Seed Code — часть линейки моделей Bytedance, нацеленной на интеграцию LLM в рабочие процессы разработчиков и систем с edge-инференсом.
Подробнее и тестировать можно здесь:
🔗 https://exp.volcengine.com/ark?model=doubao-seed-code-preview-251028
⚔️ Преимущество OpenAI в ИИ уже не выглядит таким недосягаемым.
Google с Gemini 3 и Anthropic с Claude стремительно сокращают разрыв по качеству моделей, а сама OpenAI несёт огромные риски из-за вычислительных затрат и монетизации.
Что пишет FT:
- Google продвинула Gemini 3 выше GPT-5 на ряде бенчмарков.
Модель обучалась на собственных TPU, а не внешних GPU, и глубоко встроена в поиск и Android.
Благодаря этому приложение Gemini выросло до 650 млн пользователей в месяц.
- Anthropic делает ставку на надёжных корпоративных ассистентов и уже получила оценку выше $300 млрд.
Это превратило её в серьёзную альтернативу OpenAI для бизнеса.
- У OpenAI всё ещё гигантская база — 800+ млн еженедельных пользователей ChatGPT.
Но компания одновременно выпускает множество продуктов и подписала обязательства на около $1.4 трлн вычислительных мощностей на ближайшие 8 лет.
Сумма огромна по сравнению с текущей выручкой, поэтому OpenAI вынуждена активнее опираться на подписки, корпоративные сделки и модели монетизации уровня Sora, в нишах, где доминируют крупные рекламные платформы.
Общая картина такова:
- OpenAI - самая сильная потребительская марка, но с самыми тяжёлыми вычислительными обязательствами.
- Google - мощная инфраструктура и глубокая интеграция в экосистемы.
- Anthropic - доверие и деньги от enterprise-клиентов, стабильный рост и сверхвысокая оценка.
Гонка стала ближе и напряжённее: ранний рывок OpenAI больше не гарантирует лидерства.
Источник: Financial Times
ft.com/content/8881062d-ff4f-4454-8e9d-d992e8e2c4e3
🐋 DeepSeek выкатили не «ещё одну модель», а полноценную топ-систему уровня IMO/IOI/ICPC - при этом обучение и генерация стоят в десятки раз дешевле, чем у GPT-5 и Gemini 3 Pro.
Главное:
• DeepSeek-V3.2-Speciale обгоняет Gemini 3.0 Pro в математике и коде
• Новая флагманская модель совмещает рассуждения + агентность
• Архитектура MoE из семейства V3.1 Terminus, контекст 128k
• Главное нововведение — DeepSeek Sparse Attention (DSA), сделанный ради дешёвого длинного контекста
Что делает DSA
Обычное внимание - O(T²), что больно при 128k токенов.
DSA снижает стоимость до O(T·U), где U - только небольшое число релевантных токенов.
Как работает:
1) Lightning Indexer - лёгкая сеть оценивает важность каждого прошлого токена
2) Fine-grained top-k - модель выбирает только самые полезные токены и считает внимание по ним
Как обучали
Начали с чекпоинта V3.1 (128k) и сделали 2-ступенчатое дообучение:
• Stage 1 - плотное внимание, замороженная модель, обучается только DSA
• Stage 2 - постепенный переход на DSA по всей модели
Итог: длинный контекст стал реально дешёвым, а качество выше, чем у предыдущих версий и конкурентов.
Tech report: https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
llama.cpp (PR #16095) теперь поддерживает Qwen3-Next - новую гибридную архитектуру от Qwen.
Теперь Qwen3-Next можно запускать локально с эффективным CPU/GPU-инференсом. 🚀
https://github.com/ggml-org/llama.cpp/pull/16095
🧮 Интересная и подробная статья о том, почему TPU становятся ключевым фактором в удешевлении инференса.
- TPUs дают примерно в 4 раза лучшую стоимость за производительность по сравнению с Nvidia GPU в задачах инференса
- Инференс за время жизни модели стоит в 15 раз дороже, чем её обучение
- К 2030 году инференс будет потреблять около 75 процентов всего AI compute (рынок на 255 млрд долларов)
Основная мысль проста: инференс полностью доминирует итоговую стоимость эксплуатации модели. Обучение модели уровня GPT-4 стоит примерно 150 миллионов долларов, но поддержание инференса - около 2.3 миллиарда долларов в год.
Nvidia H100 отлично подходит для гибкого обучения, но их универсальная архитектура добавляет лишнюю логику управления и движение данных, что увеличивает энергопотребление при простых forward-pass операциях — поэтому длительный инференс обходится дорого.
Google TPU - специализированные чипы для tensor math, построенные на систолических массивах и агрессивной инженерии энергопотребления. В итоге они потребляют примерно на 60-65 процентов меньше энергии и дают около четырёхкратного выигрыша по стоимости инференса трансформеров по сравнению с H100.
Практика это подтверждает:
Midjourney снизил затраты на инференс примерно на 65 процентов после перехода на TPU.
Anthropic закупает до миллиона TPU.
Meta, Salesforce, Cohere и многие другие также переводят всё больше трафика на TPU-поды, поскольку инференс стремительно растёт и к 2030 году станет около 75 процентов всех вычислений в AI.
ainewshub.org/post/ai-inference-costs-tpu-vs-gpu-2025
📚 У OpenAI снова юридические проблемы, и ситуация становится заметно серьезнее.
Суд обязал компанию передать внутренние переписки о том, зачем и почему были удалены два огромных датасета пиратских книг.
Если в этих сообщениях окажется, что сотрудники понимали незаконность данных и пытались quietly erase их, авторам будет проще доказать умышленное нарушение авторских прав. А это значит гораздо более высокие штрафы за каждую книгу.
Что известно сейчас:
- Авторы утверждают, что модели OpenAI обучались на больших наборах пиратских книг.
- Истцы уже получили Slack-переписки сотрудников по датасетам books1 и books2.
- Судья потребовала раскрыть документы, объясняющие мотивы удаления этих датасетов.
- Внутренние юристы OpenAI будут допрошены.
- Если окажется, что компания меняла объяснение причин удаления, это усиливает позицию истцов.
Почему это поворотный момент:
Суд указал, что OpenAI сначала объясняла удаление тем, что данные не использовались, а позже пыталась закрыть переписки под юрпривилегией. Такое изменение позиции суд расценил как отказ от привилегии. Поэтому теперь Slack-каналы project clear и excise libgen могут быть раскрыты.
Этот кейс создаёт значимый сигнал для всей AI-индустрии:
то, как компании обсуждают скрапинг, теневые библиотеки и чистку данных внутри Slack или других рабочих инструментов, может напрямую влиять на то, попадут ли они под обычные штрафы или под огромную финансовую ответственность.
hollywoodreporter.com/business/business-news/openai-loses-key-discovery-battle-why-deleted-library-of-pirated-books-1236436363/
🖥 NVIDIA тихо выкатили -Orchestrator-8B
На бенчмарке Humanity's Last Exam (HLE) маленькая 8-модель обходит GPT-5:
37.1% против 35.1%, при этом работает примерно в 2.5 раза эффективнее.
Что вообще происходит?
Orchestrator-8B - это не просто ещё одна модель. Это “роутер” над стеком инструментов.
Она решает, отвечать ли самой или вызвать поиск, код-модель, API или другой LLM.
Вместо парадигмы «один огромный LLM делает всё» —
маленький мозг, который умно и экономно распределяет задачи между инструментами.
Чтобы этому научить, NVIDIA сделали ToolScale — гигантский синтетический датасет с многошаговыми задачами, где агент:
- видит доступные инструменты, их цену и задержку
- выбирает последовательность вызовов
- получает трассу идеального решения
- оптимизируется под качество, скорость и деньги
По сути, каждый пример — это инструкция:
“вот запрос, вот инструменты, вот их цены, вот как решить задачу оптимально”.
Алгоритм Group Relative Policy Optimization обучает политика так, чтобы она балансировала:
- точность
- скорость
- стоимость
- предпочтения пользователя
На HLE, FRAMES и tau-squared Bench оркестратор (Qwen3-8B внутри) обходит:
- tool-augmented GPT-5
- Claude Opus 4.1
- Qwen3-235B-A22B
И делает меньше дорогих вызовов, лучше адаптируется к новым инструментам и ценам — и всё это в открытом доступе для ресёрча под лицензией NVIDIA.
Вывод: маленький интеллектуальный оркестратор поверх набора инструментов может выдавать фронтирный уровень агентных возможностей — но с точным контролем вычислений и бюджета.
ToolScale учит не “зови самый большой LLM”, а думай, сколько это будет стоить, и выбирай оптимальный путь.
Это именно тот сдвиг, который мы ждали в эру “AGI из инструментов”, а не из гигантских монолитных моделей.
huggingface.co/datasets/nvidia/ToolScale
@data_analysis_ml
🤖 Multi-Agent Evolve теперь полностью open-source 🚀
С его кодовой базой ты можешь взять любой LLM-чекпойнт и позволить ему саморазвиваться без внешнего надзора.
Это экспериментальная система, в которой агенты эволюционируют, создавая и оценивая собственные улучшения.
💻 Код:
https://github.com/ulab-uiuc/Multi-agent-evolve
🤗 Модели (Checkpoints):
https://huggingface.co/collections/ulab-ai/multi-agent-evolve
#AI #LLM #MultiAgent #OpenSource #EvolutionaryAI
🤖 Мир меняется быстрее, чем мы успеваем осознавать.
Китай начинает развёртывание гуманоидных роботов на границе с Вьетнамом.
Они будут помогать с навигацией путешественников, инспекциями, патрулированием, логистикой - и параллельно использоваться на промышленных объектах: металлургия, сталь, медь, алюминий.
Особое внимание на Walker S2.
Это первый гуманоид, который умеет автономно менять собственную батарею, фактически работая почти 24/7.
У него 52 степени свободы, ловкие руки, высокая грузоподъёмность, стереозрение и система UBTech BrainNet 2.0 / Co-Agent AI для автономного планирования задач.
UBTech уже получила заказы на 1.1 млрд юаней и планирует поставить 500 роботов в этом году, увеличить производство в 10 раз в следующем и выйти на 10 000 единиц в год к 2027.
Гуманоидные роботы - больше не прототипы.
Это новая часть инфраструктуры, которую начинают внедрять прямо сейчас.
https://interestingengineering.com/innovation/ubtech-secures-us37-million-deal
Новая научная работа от Apple -⚡️ серьёзный шаг к следующему поколению видеогенерации.
Команда представила STARFlow V
полностью каузальную видеомодель, которая по качеству конкурирует с диффузионными системами
и обучена как единая сквозная архитектура.
Основная идея
STARFlow V — первый нормализующий поток, который:
- показывает конкурентное качество длинных видео
- работает одинаково с текстом, изображениями и видео
Чем отличается от диффузии
Ранние видеогенераторы использовали многошаговую диффузию.
STARFlow V вместо этого применяет:
- один обратимый маппинг между шумом и видео
- без сотен итераций очистки
- без пошагового шума
Как устроена модель
Каждый кадр сжимается в скрытый компактный код.
Дальше работают два ключевых компонента:
- Глобальный блок
- отвечает за временную последовательность
- работает авторегресивно
- каждый латент зависит только от предыдущих
- уменьшает накопление ошибок на длинных роликах
- Локальные блоки
- отвечают за детализацию внутри кадра
- усиливают качество визуальных элементов
Трюки обучения
Модель обучают с дополнительными техниками:
- добавляется малый искусственный шум для устойчивости
- применяется каузальный денойзер flow score matching
- он убирает шум, заглядывая только на один кадр вперёд
- используются параллельные Jacobi блоковые обновления для ускорения
Результаты
STARFlow V демонстрирует:
- качество почти уровня диффузии
- более стабильные длинные видеоролики
- единую архитектуру для всех задач
- полностью каузальную генерацию
arxiv.org/abs/2511.20462
⚡️ VK открыл VK-LSVD — один из крупнейших датасетов для рекомендательных систем. Сейчас на его базе идет топовое соревнование по ML VK RecSys Challenge
🎯 Для чего подходит датасет
- Быстрый старт в рекомендательных алгоритмах
- Тест бэйзлайнов и гибридов «контент + поведение»
- Можно использовать для воспроизводимых тестов различных моделей
🔗 Подробнее + код: https://habr.com/ru/companies/vk/articles/970350/
В самом VK RecSys Challenge можно участвовать соло или командой до 4 человек, а подать заявку — до 15 декабря. Призовой фонд — 2 500 000 рублей.
@data_analysis_ml
NeurIPS 2025: краткий разбор ключевых наград
Оргкомитет опубликовал победителей. Общий тренд — работы про масштабирование моделей, устойчивость обучения и фундаментальные теоретические результаты.
🏆 Special Awards
- Test of Time (2015): Faster R-CNN
- Ввели RPN, отказавшись от Selective Search.
- Сделали детекцию полностью end-to-end и задали стандарт индустрии на десятилетие.
- Sejnowski–Hinton Prize (2016): Feedback Alignment
- Показали, что backprop работает даже при случайных фиксированных обратных весах.
- Это решает «weight transport problem» и делает алгоритм ближе к биологически правдоподобным.
🌟 Best Papers (Main Track)
- Architecture: Gated Softmax Attention
- Решает нестабильность больших трансформеров и проблему attention sinks.
- Добавляет простое sigmoid-gating для отдельных heads.
- Даёт стабильность почти без оверхеда; уже используется в Qwen3-Next.
- RL: Scaling to 1024 Layers
- Self-Supervised RL сделал возможным обучение сети глубиной 1024 слоя.
- На задачах локомоции — до 50× улучшения относительно стандартных моделей.
- Theory: Diffusion Dynamics
- Выделены две фазы обучения диффузионных моделей: быстрая generalization и медленная memorization.
- Формализована implicit regularization, объясняющая поведение моделей.
- LLM: Artificial Hivemind
- Анализ того, как разные LLM начинают давать похожие ответы.
- Новый датасет Infinity-Chat для изучения этого эффекта и потери разнообразия.
- Theory: Online Learning Gap
- Доказан квадратичный разрыв в sample complexity между transductive и обычным online-обучением.
- Закрытие старой теоретической задачи.
🔗 Полный список: https://blog.neurips.cc/2025/11/26/announcing-the-neurips-2025-best-paper-awards/