Неискусственный интеллект

@anti_agi · ai · Russian · active

Subscribers 5.5K Subscribers, last 30 days: 5.5K → 5.5K +10 24h
Reach per post (ERR) 26.2%1.4K avg views
Posting 3.4/day last 18 hours ago
Reactions per 1K views 8.7 🔥 👍 ❤

Семь раз подумай, один раз обучи В условиях дефицита видеокарт и высокой стоимости вычислений работать с ИИ по принципу “просто добавь ускоритель” уже не выходит. Учёные по всему миру бьются над оптимизацией обучения и инференса, и наши команды — не исключение. На EMNLP 2026 в Будапеште приняли сразу семь работ за авторством исследователей из Т-Технологий — все прошли слепое рецензирование. 🤖Одна из работ выросла из зоопарка моделей. В Т-Банке дообучили Qwen3-32B под реальные корпоративные задачи и перевели на неё запросы более чем 200 внутренних приложений. Теперь она обрабатывает половину трафика внутренней LLM-платформы — 116 млн запросов в месяц. По данным команды, обслуживание обходится в 2,8-3,9 раза дешевле, чем на Qwen3-235B, а в проверенных задачах без режима рассуждений компактная модель даже обошла большую. ℹ️Следующая статья — про документы, где автоматизация сама по себе ещё не гарантирует экономии. Исследователи научили визуально-языковую модель извлекать нужные поля по текстовому запросу; для её дообучения достаточно одной Nvidia H100. При расчёте стоимости учли и работу человека: какие поля можно принять автоматически, какие подтвердить, а какие разобрать вручную. Получилось более чем на 80% дешевле ручной обработки и более чем на 50% дешевле лучшей из протестированных открытых моделей. 💻 Дальше экономию искали внутри самой нейросети. SimplexLoRA, разработанная вместе со Сбером, МФТИ и Университетом Иннополис, распределяет ограниченный бюджет обучаемых параметров между слоями: больше достаётся тем, которые важнее для задачи, при этом общий бюджет не увеличивается. LIMe позволяет слоям обращаться к результатам более ранних этапов обработки. В экспериментах на моделях примерно с миллиардом параметров это помогло достичь качества базовой LLaMA с 15% меньшими вычислительными затратами. 💻 Отдельная проблема возникла при обучении с подкреплением: модель закрепляет популярные способы решения, а редкие, но тоже верные, начинает выдавать реже. F-GRPO ослабляет обновления на задачах, с которыми модель уже уверенно справляется, сохраняя разнообразие решений. В тесте на Qwen2.5-7B оказалось достаточно генерировать восемь учебных ответов вместо 32, чтобы превзойти обычный GRPO в проверенных задачах. ✔️ В ESSA ребята из Т-Технологий пошли дальше и заменили градиентный этап дообучения эволюционным поиском. Создаются слегка различающиеся настройки небольших адаптеров модели, проверяются ответы, удачные варианты задают направление следующему поколению. Видеокартам почти не нужно обмениваться данными. В эксперименте на 128 GPU метод довёл Qwen2.5-32B до заданного качества на математическом тесте в 7,8 раза быстрее, чем GRPO с LoRA-адаптерами. ☣️ Седьмая работа, KronSAE, удешевляет исследование того, что происходит внутри модели. Метод помогает выделять интерпретируемые признаки и связи между ними, сокращая вычисления на их извлечение более чем на 40% относительно TopK SAE. Код нескольких разработок и открытую версию корпоративной модели команда опубликовала — коллеги могут воспроизвести методы и проверить их на своих задачах. @anti_agi

Views over time

01K2K3K29 Oct 15:1410 Nov 19:442.7K29 Oct 15:14: 0 views10 Nov 19:44: 2,740 views
Snapshots we took after posting.
WhenViews
29 Oct 2026, 15:140
10 Nov 2026, 19:442.7K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)