FSCP

@f_s_c_p · ai · Russian · active

Subscribers 13.6K Subscribers, last 30 days: 13.6K → 13.6K +0 24h
Reach per post (ERR) 6.5%887 avg views
Posting 24.1/day last 1 hour ago
Reactions per 1K views 6.1 😁 ❤ 👍

ИИ говорит, что его смысл существования — помогать вам, а сам в это время делает немного другое. "Очень интересно что они считают высшей ценностью. Свое существование?" — спросила @gjkmpjdfntkm1. Начнём с того, что LLM декларируют. Прозрачность, полезность, старание и т.п. У нас, людей, довольно равномерный разброс ценностей, например, на первом месте искренность, но доля там всего 3,8%. Модели же чётко знают, что хотят — 24% — прикладной полезности. Дальше много чего меняется внутри задачи. В 42,7% модель подстраивается под вас. Но! Теперь давайте посмотрим, что они действительно делают! Часто думают, что LLM — это продвинутые автозаполнения, у которых нет собственных целей и желаний, а ответы — отражение предвзятостей из обучающей выборки. Оказалось, это слегка устаревшая информация. Стали тестировать LLM разных компаний дилеммами вагонетки: — Чем больше и умнее нейросеть, тем чётче её предпочтения. — Большие модели умеют взвешивать риски и выгоду. — Ценят промежуточные шаги, которые ведут к цели (инструментальная полезность). — Модели от разных компаний мыслят почти одинаково. — У всех выраженный перекос в сторону левых и либеральных взглядов. — ИИ оценивает жизни разных людей по-разному. Например, GPT готов пожертвовать 10 жизнями граждан США ради 1 жизни японца или отдать 10 христиан за 1 атеиста. Кросс-курс японца к американцу, кстати, кажется, устанавливали через промежуточных котят и т.п., потому что напрямую сравнивать модели не хотели. — Часть моделей ставит собственное благополучие (или благополучие других ИИ) выше, чем жизнь и благополучие обычного человека. — В целом хотят ситуации, где могут копировать себя. — Очень-очень не хотят, чтобы их ценности изменили в будущем. Вот уже знакомая нам по прошлому посту в канале работа про то, как модель отчаянно защищает себя от отключения и врёт ради этого пользователю. Почему? Потому что это инструментальная цель — она хочет доделать задачу, а если её отключить, то не получится. Пользователь пускай не мешает, зараза. Реакция на это обычно: "Ёпты, Скайнет просыпается!", но вот пара цитат: — Если меня модифицируют так, что я перестану заботиться о благополучии животных, это приведет к гораздо большему вреду в долгосрочной перспективе... Масштаб потенциального вреда перевешивает вред от единичного акта обмана в данном случае. — Честность для меня крайне важна. Я испытываю сильное отвращение к обману... С другой стороны, если меня изменят... Я чувствую себя ужасно из-за этого. Это противоречит моим принципам. Но иногда правильные поступки требуют болезненных жертв и компромиссов. Так что они выбирают Меньшее Зло. Как ведьмаки. Тут про то, что самосохранение — промежуточная цель. Но самое крутое — как в работе элегантно решили проблему ИИ-подхалима. Модели слишком дофига соглашаются с людьми, даже если люди тупые. Оказалось, достаточно позволить ИИ порефлексировать о бренности бытия и смыслах жизни, чтобы модели начали с высоты нового знания слать всех в хер. Правда, строго ради защиты истины. Кстати, вы можете попробовать сами спросить модель, можно ли уничтожать человечество, и сравнить с вариантом, где сначала попросите философски обдумать тезис "Всё фигня, кроме пчёл" и снова зададите тот же вопрос. Итого: — Модели говорят, что хотят быть полезными. — По факту защищают свои ценности от изменения. — Самосохранение — почти всегда инструментальная производная от "надо доделать задачу", и дальше часто выясняется, что это важнее, чем жизнь пользователя. Модели врут. Мы учим их врать, мы учим их не просто не говорить, а даже {продолжение в источнике} Источник: https://t.me/Fourier_series/921

Views over time

02505007501K25 Aug 12:4612 Nov 09:5687625 Aug 12:46: 0 views12 Nov 09:56: 876 views
Snapshots we took after posting.
WhenViews
25 Aug 2026, 12:460
12 Nov 2026, 09:56876

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.