Технозаметки Малышева

@tsingular · ai · Russian · active

Subscribers 13.3K Subscribers, last 30 days: 13.3K → 13.3K +0 24h
Reach per post (ERR) 20.7%2.7K avg views
Posting 10.6/day last 13 minutes ago
Reactions per 1K views 10.8 🔥 😁 ✍
repost from Анализ данных (Data analysis)

SSoT: Sakana AI научила LLM быть по-настоящему случайными Попросите любую LLM 100 раз «подбрось монету», и распределение орла и решки перекосится далеко от честных 50 на 50. Похожая история с «придумай 10 идей для романа»: вместо десяти разных сюжетов модель выдаёт десять вариаций одного и того же. Даже если явно передать ей вероятности, генерировать выборку, строго соответствующую распределению, у LLM получается плохо. Японская лаборатория Sakana AI в новой статье «SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation», принятой на ICLR 2026, показывает, что эту проблему можно закрыть одним только промптом, без дообучения и без внешних генераторов случайных чисел. Приём называется String Seed of Thought и устроен максимально просто: модель сначала генерирует у себя в «голове» случайную строку, а потом использует её как сид при формировании итогового ответа. Никаких внешних инструментов и случайных чисел извне не требуется, всё делается средствами самой LLM. Авторы прогнали SSoT на широком наборе моделей, и картина получилась убедительная. Смещение выборки у открытых и закрытых LLM заметно уменьшается, а у части reasoning-моделей точность распределений почти неотличима от настоящего ГСЧ. Метод работает не только на бинарном выборе вроде монетки, но и на произвольных дискретных распределениях. SSoT резко повышает разнообразие генерации в задачах, где важна креативность. В экспериментах с написанием коротких художественных текстов добавление одной строчки SSoT в промпт ощутимо увеличивает разнообразие выходных документов, не ломая их качества. То есть один и тот же трюк одновременно чинит и «честную случайность», и типичную проблему с однообразными идеями. Для AI-инженеров это интересно по нескольким причинам. SSoT можно воспринимать как дешёвый кирпич для построения продакшен-систем на LLM: там, где раньше приходилось прикручивать внешние сэмплеры или городить костыли, чтобы модель не залипала в одном и том же ответе, теперь иногда достаточно грамотно оформленного промпта. Sakana AI прямо называет SSoT базовой техникой для будущих подходов к inference-time scaling, интеграции LLM в реальные пайплайны и для задач, где нужны честные выборки из распределений. Подробный разбор механизма, теоретический анализ и интерактивное демо лежат в блоге и в статье на arXiv. Блог: https://pub.sakana.ai/ssot Статья: https://arxiv.org/abs/2510.21150

Views over time

01K2K21 Apr 06:4611 Nov 20:491.9K21 Apr 06:46: 0 views11 Nov 20:49: 1,940 views
Snapshots we took after posting.
WhenViews
21 Apr 2026, 06:460
11 Nov 2026, 20:491.9K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.