ИИ-инъекция и внимательный судья В суде штата Коннектикут обнаружили необычный способ воздействия на ИИ. Участник процесса спрятал в электронном судебном документе инструкции для искусственного интеллекта: текст был набран белым цветом и шрифтом размером около 3 пунктов, поэтому оставался практически незаметным для человека, но сохранялся в текстовом содержимом PDF. В инструкции прямо говорилось, что если документ будет анализироваться ИИ, модель должна принять изложенную в нём позицию и подготовить результат в пользу автора. Речь идёт о деле Elliott v. New York Bariatric Group. Скрытый текст обнаружил судья Уолтер Спейдер после того, как обратил внимание на необычные пустые участки в документе. Сам судебный документ с этой инструкцией опубликован в системе судебных документов Коннектикута. При этом, как отметил судья, судебная система Коннектикута не использует ИИ для рассмотрения подобных документов и принятия судебных решений. Более того, сам судья использовал ИИ при подготовке своего решения - то есть проблема заключалась не в использовании искусственного интеллекта как такового, а в попытке скрыто изменить результат его работы. Суд расценил произошедшее как prompt injection (внедрение в данные скрытых инструкций, рассчитанных на изменение поведения ИИ при их обработке). После обнаружения первой инструкции в последующих документах также находили скрытый текст, хотя, по словам суда, он уже не содержал попыток повлиять на решение. В результате суд запретил участнику процесса подавать документы в электронном виде и распорядился в дальнейшем представлять их на бумаге. История показывает, что с распространением ИИ меняется не только работа с информацией, но и сама модель атак на информационные системы. Документ, который для человека выглядит как обычный текст, для программы может содержать дополнительный слой инструкций. Появление подобных случаев закономерно для мира, в котором всё больше решений принимается с помощью автоматизированной обработки информации. Чем больше ИИ используется в социальных рейтингах, массовой слежке, судах, госуправлении, бизнесе и других сферах, тем важнее прозрачность алгоритмов, возможность проверить результат и понимание того, какие именно данные и инструкции получает система. Но защита от манипуляций ИИ должна строиться не на луддизме и запрете технологий, а на технически проверяемых процедурах, позволяющих отделять содержание документа от попыток управлять поведением алгоритма.