Как заработать миллион на галлюцинациях ИИ Baidu доказывает в суде, что не отвечает за слова своей нейросети Коллега недавно решила попросить ИИ рассказать о себе. История закончилась хорошо – во всяком случае, ИИ не стал вбрасывать рандомные факты, порочащие её доброе имя и репутацию. В Китае всё прошло не так гладко: адвокат Хуан Гуйгэн обнаружил в поиске готовое уголовное дело на самого себя. Умный помощник Baidu сгенерировал ответ и заявил, что адвокат якобы давал взятки, угрожал судьям и подделывал печати. Это оказалась чистая галлюцинация (во всяком случае, так утверждает адвокат и это признали Baidu) – нейросеть взяла криминальные новости и вплела в них имя истца. А клиенты адвоката якобы увидели это, поверили «умному поиску» и ушли. Теперь юрист требует от IT-гиганта миллион юаней компенсации и публичных извинений. Юристы Baidu сразу заявили, что галлюцинации – это нормальная стадия развития технологии, а виноват сам пользователь. Мол, адвокат слишком часто и специфично формулировал запросы, чем буквально свёл с ума нейросеть и заставил её придумывать факты. Да и вообще есть дисклеймер, что ИИ может ошибаться, так что его ответы не стоит воспринимать всерьёз. Правда, сразу возникает много вопросов. Пользователей сначала приучили пользоваться нейропоиском, интегрируя его буквально во все поисковые системы, а потом говорят «ИИ может ошибаться, так что пользуйтесь им на свой страх и риск». Так зачем тогда использовать технологию, которая не работает? Или вы просто сделали кривой продукт и пытаетесь снять с себя ответственность? В итоге никто не перепроверяет источники, люди игнорируют дисклеймеры, а подобные галлюцинации могут нанести вполне конкретный и ощутимый урон репутации или здоровью. Мы уже видели подобное с суммаризацией новостей от Apple и советами Google по самолечению, это просто очередной и показательный кейс в копилку. И тот факт, что адвокат мог, в теории, намеренно создать эту ситуацию, обратиться в суд и попробовать заработать денег, не отменяет более глубокую проблему. Процесс в зависимости от итога может создать прецедент в Китае и повлиять на цену внедрения ИИ. Если Baidu проиграет, компаниям придется делать акцент не на скорость ответа, а на его верификацию. Например, ChatGPT в режиме размышления и с доступом в интернет может несколько минут ходить по разным сайтам, искать и подтверждать информацию, перепроверять себя, прежде чем дать ответ. Что дорого и долго, но даёт хоть какие-то гарантии отсутствия ошибок. Если компаниям придётся буквально платить за галлюцинации своего ИИ, то мы можем увидеть дружное движение рынка в этом направлении.