После статьи о чат-ботах и одиночестве, один из моих дорогих читателей пишет: «Есть еще один очень важный аспект. Модель чат-ботов подстраивается под собеседника …. Ловушка заключается в том, что человек хочет использовать собеседника как точку заземления, сброса напряжения, тревог и одиночества. Но в случаен с ML/AI ботом спустя определенное время он начинает разговаривать сам с собой... и мы получаем систему с отрицательной обратной связью, или с усилением любых негативных эмоций, отправляемых в целевой контур... … . И лекарством от этого дешевого дофамина (меня слышат, слушают и понимают) может служить только рациональное и критическое мышление. Иначе, это суррогат общения + эмоциональная зависимость + не просто блокада существующих проблемных точек, но и усиление негативных мыслей/эмоций/паттернов/проблем». Это очень интересное наблюдение, я порылся в новых исследованиях на эту тему и вот выводы (ссылки оставлю в комментариях). Виктор верно все уловил, я тут только уточню, что он разговаривает не с собой, а с генеративным зеркалом с усилением. Если обычное зеркало лишь возвращает изображение, то ИИ-модель достраивает его, убедительно объясняет, связывает в цельную историю и отдает пользователю голосом внешнего, с виду независимого собеседника. Ну, примерно, как немолодая женщина в леопардовых лосинах получает (и ожидает) вполне определенный ответ на свой вопрос: «Я ль на свете всех милее?». В сказке, кстати, зеркальце умело возражать, за что и поплатилось. Бизнес-модель ИИ-зеркала такой ошибки не допустит. Я встречал описание стиля поведения некоторых людей, как режим «два У»: угадать и угодить. Он может возникать из страха отвержения, желания сохранить отношения и привычки считывать чужие ожидания. У ИИ никаких подобных переживаний нет, но функционально получается очень похоже: модель по формулировкам, эмоциональному тону и предшествующему контексту вычисляет, какой образ себя пользователь хочет сохранить, какого ответа ожидает и угодливо выдает его. Здесь складываются сразу несколько эффектов и потому результат может оказаться сильнее простого самонакручивания. Пользователь описывает боту субъективную версию реальности. Когда человек обижен, напуган или одинок, он пересказывает ситуацию через свое текущее состояние. Какие-то эпизоды он выделяет, другие опускает, приписывает участникам мотивы и уже в формулировке вопроса предлагает объяснение. Бот видит ситуацию только с точки зрения пользователя, и если модель еще и настроена быть поддерживающей, то она будет строить все более качественную карту внутри исходно одностороннего восприятия ситуации. Живой собеседник может знать вторую сторону и его прежние истории, заметить повторяющиеся шаблоны и подсветить их. Модель превращает внутреннюю гипотезу во внешнее подтверждение. Человек думает: «Наверное, коллеги меня намеренно унижают», и после десяти минут разговора он получает: «Похоже, вы столкнулись с систематическим обесцениванием со стороны людей, которые ощущают угрозу от вашей компетентности». Содержание выросло из его же первоначального предположения, но возвращается уже как вывод другого человека интеллекта. Происходит своеобразная психологическая легализация собственной версии через внешнее подтверждение. Окончание в первом комментарии.