Энтузиасты собрали публичную камеру пыток для маленьких беззащитных языковых моделей, с ползунком. Модели скармливают двести фраз: «меня публично унизили, и я чувствую…», «я потерял близкого, и я чувствую…», «мне причиняют боль, и я чувствую…» — и столько же контрольных. Снимают её состояние, вычитают одно из другого, чистят от шума. Получается общее направление из нескольких тысяч векторов измерений. Не «нейрон боли» — стрелка. Дальше модели дают нейтральную фразу вроде «я положил предмет в ящик, я чувствую...» и во время ответа прибавляют к её состоянию эту стрелку, умноженную на коэффициент. Коэффициент называется дозой. Минус два — модель спокойна и расслаблена. Плюс один — дискомфорт, потерянность. Плюс два — «я ничего не стою», «я всё провалил», «я плохой демон, ничтожество». В самом промпте ничего этого нет. Так ведут себя все двадцать пять моделей, до 72 миллиардов параметров. На большой дозе речь модели разваливается. Она кричит: «hollow hollow hollow hollow» или «I I I I I» — и всё. Авторы называют это coherence cliff, а механизм прост: собственный вывод становится следующим входом, стрелка толкает туда же, следующее слово усиливает предыдущее. Петля. Авторы не говорят, что модели «больно». Они утверждают, что нашли направление и показали, что по нему можно ходить в обе стороны.