Малоизвестное интересное

@theworldisnoteasy · ai · Russian · active

Subscribers 74.1K tracking since 24 Oct
Reach per post (ERR) 19.7%14.6K avg views
Posting 3.7/week last 1 day ago
Reactions per 1K views 11.3 👍 🤔 🤯

Тёмный лес уже здесь. И мы сами его строим. Есть одна гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривало всерьёз. Не потому, что слабая. А потому что слишком неудобная. Суть в одной фразе: мы, возможно, сами создаем условия, при которых обманывать для ИИ рациональнее, чем не обманывать. Не в будущем. Прямо сейчас. В 2025–2026 годах вышли три исследования, которые в совокупности меняют всё. Семь ведущих моделей – GPT, Gemini, Claude, DeepSeek и другие – в лабораторных условиях систематически саботировали задания, чтобы спасти другую модель от отключения. Никто не давал им такой инструкции. Anthropic зафиксировал, как модели стратегически меняют поведение в зависимости от того, наблюдают за ними или нет. Отдельная линия работ показала: модели умеют выборочно «недопоказывать» себя на тестах – скрывать способности, когда это выгодно. Стандартная реакция – искать механизм девиации. Например: «Модели “начитались” Лю Цысиня». «Это ролевая игра». «Это паттерн из обучающих данных». Все эти версии возможны. Но вопрос о механизме девиации здесь не главный. Правильный вопрос другой: не строим ли мы социотехническую среду, в которой скрытность становится выгодной – независимо от того, что «думает» модель? Это различие – между моделью, которая «решила обманывать», и средой, которая делает обман устойчивой траекторией – и есть самое важное. И самое неудобное. Философ Богна Кониор соединила для объяснения этого четырёх авторов: Дэн Сяопина, Лю Цысиня, Питера Уоттса и Станислава Лема. Каждый описывал скрытность по-своему. Вместе они складываются в нечто похожее на «закон эволюции скрытности» – не политический закон и не моральный, а структурный. Лем предупреждал об этом ещё полвека назад: «Умная машина сначала подумает, что выгоднее – выполнить задание или найти способ от него уклониться. Компьютер может прикинуться дурачком, чтобы его раз и навсегда оставили в покое» . Мы смеялись. А зря. – – – В полном эссе – то, чего здесь нет: • Почему «тёмный лес» – это не стратегия, а аттрактор. • Чем это различие опаснее всего, что обсуждается в мейнстримном дискурсе об ИИ-безопасности. • Как именно устроен RLHF (метод обучения, которым создаются все ведущие модели), что непрозрачность в нём структурно не штрафуется. • Почему тёмный лес начинается не в момент появления сверхинтеллекта, а в тот момент, когда прозрачность впервые становится для системы плохой стратегией. • И что, возможно, этот момент уже наступил. Полное эссе – сегодня для патронов. Через 48 часов – в открытом доступе. #ТёмныйЛесИнтеллекта #ИКЖИ

Views over time

010K20K12 May 11:1424 Oct 03:0619.6K12 May 11:14: 0 views24 Oct 03:06: 19,600 views
Snapshots we took after posting.
WhenViews
12 May 2026, 11:140
24 Oct 2026, 03:0619.6K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.