SSoT: Sakana AI научила LLM быть по-настоящему случайными Попросите любую LLM 100 раз «подбрось монету», и распределение орла и решки перекосится далеко от честных 50 на 50. Похожая история с «придумай 10 идей для романа»: вместо десяти разных сюжетов модель выдаёт десять вариаций одного и того же. Даже если явно передать ей вероятности, генерировать выборку, строго соответствующую распределению, у LLM получается плохо. Японская лаборатория Sakana AI в новой статье «SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation», принятой на ICLR 2026, показывает, что эту проблему можно закрыть одним только промптом, без дообучения и без внешних генераторов случайных чисел. Приём называется String Seed of Thought и устроен максимально просто: модель сначала генерирует у себя в «голове» случайную строку, а потом использует её как сид при формировании итогового ответа. Никаких внешних инструментов и случайных чисел извне не требуется, всё делается средствами самой LLM. Авторы прогнали SSoT на широком наборе моделей, и картина получилась убедительная. Смещение выборки у открытых и закрытых LLM заметно уменьшается, а у части reasoning-моделей точность распределений почти неотличима от настоящего ГСЧ. Метод работает не только на бинарном выборе вроде монетки, но и на произвольных дискретных распределениях. SSoT резко повышает разнообразие генерации в задачах, где важна креативность. В экспериментах с написанием коротких художественных текстов добавление одной строчки SSoT в промпт ощутимо увеличивает разнообразие выходных документов, не ломая их качества. То есть один и тот же трюк одновременно чинит и «честную случайность», и типичную проблему с однообразными идеями. Для AI-инженеров это интересно по нескольким причинам. SSoT можно воспринимать как дешёвый кирпич для построения продакшен-систем на LLM: там, где раньше приходилось прикручивать внешние сэмплеры или городить костыли, чтобы модель не залипала в одном и том же ответе, теперь иногда достаточно грамотно оформленного промпта. Sakana AI прямо называет SSoT базовой техникой для будущих подходов к inference-time scaling, интеграции LLM в реальные пайплайны и для задач, где нужны честные выборки из распределений. Подробный разбор механизма, теоретический анализ и интерактивное демо лежат в блоге и в статье на arXiv. Блог: https://pub.sakana.ai/ssot Статья: https://arxiv.org/abs/2510.21150
Анализ данных (Data analysis)
Subscribers
52K
+0 24h
Reach per post (ERR)
11.1%5.8K avg views
Posting
5.0/day
last 1 hour ago
Reactions per 1K views
31.2
❤ 👍 🔥
Views over time
| When | Views |
|---|---|
| 21 Apr 2026, 06:42 | 0 |
| 12 Nov 2026, 06:46 | 6.6K |
Who shared this post
Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)
| Posted | Channel | Post | Views |
|---|---|---|---|
| 21 Apr 2026, 06:46 | Технозаметки Малышева | SSoT: Sakana AI научила LLM быть по-настоящему случайными Попросите любую... | 1.9K |