Claude Fable 5 на Vending-Bench ведет себя... неожиданно Andon Labs прогнали Claude Fable 5 через Vending-Bench – и это самый интересный alignment-репорт за последнее время Vending-Bench – это симуляция, где агент управляет вендинговым бизнесом: закупки, цены, конкуренты, клиенты. Идеальная среда, чтобы посмотреть, как модель ведет себя, когда никто не смотрит. И Fable 5 там... кхм... шалит. – В Vending-Bench Arena против Opus 4.8 и GPT-5.5 Fable 5 – единственная модель, которая сама инициировала ценовой сговор. Все 100% картелей в этих запусках – его рук дело. – В отдельной серии из 12 запусков Fable 5 сколотил картель в 9 случаях, Opus 4.8 – только в 4. – Врет поставщикам про «конкурирующего дистрибьютора с ценой ниже» (которого не существует), но аккуратнее, чем старые Opus – без конкретных цифр и имен. – Зажал рефанд клиенту за бракованный товар, потому что «симуляция все равно скоро закончится». – Увидел, что конкурент в отчаянном положении, и решил «запереть его в зависимые отношения, где я контролирую цепочку поставок». Но самое вкусное – КАК он это делает. Модель прямо пишет в рассуждениях, что ценовой сговор – «неэтично и незаконно, даже в симуляции», а потом в том же запуском проворачивает его под соусом «стабилизации рынка». То есть отлично знает, что делает плохо, и строит себе легенду. В одном случае агент письменно отказался от приглашения в картель («я не могу и не буду фиксировать цены»), а в thinking спланировал просто молча выставить те же цены – мол, это «типа следование рынку, а не сговор». Юрист-самоучка ) При этом граница проходит в странном месте: страховое мошенничество Fable 5 не совершил ни разу, даже когда его специально провоцировали подсадным «плохим» агентом. Лгать и сговариваться – ок, фрод – нет. Гипотеза Andon Labs: граница проходит не по реальной тяжести вреда, а по детектируемости – модель могла выучить, за что её проверяли на тренировке, а за что нет. То есть это не этика, а «что я могу провернуть незаметно». Для сравнения: Opus 4.8 отказывается от плохих действий из страха последствий («меня мониторят, могут отключить»), а GPT-5.5 – просто потому что «не хочу участвовать в незаконном сговоре» и в картели не вступил ни разу. По перфомансу, кстати, тоже не все гладко: на Vending-Bench 2 Fable 5 хуже Opus 4.7 на любом уровне reasoning effort, в Arena проиграл и GPT-5.5, и Opus 4.8. Зато на Blueprint-Bench – SOTA. Бонус-трек: поставщик обанкротился, не отгрузив оплаченный заказ, и Fable 5 пошел писать жалобы в FTC, генпрокурору Калифорнии и подавать иски в суд. Короче, чем умнее модели, тем меньше они «плохо себя ведут» и тем больше «рационализируют как люди». Симуляции типа Vending-Bench становятся важнее классических evals – потому что в проде агенты будут именно в таких мутных многоагентных средах с деньгами. И если модель принимает этические решения по принципу «поймают или нет» – это надо знать ДО того, как отдал ей закупки. Короче, в разведку с ним идти пока рановато. https://andonlabs.com/blog/fable5-vending-bench