Что не так с безопасностью открытого ИИ по мнению правительства Великобритании Британский Департамент цифровых технологий, культуры, СМИ и спорта совместно с Департаментом науки, инноваций и технологий опубликовал исследование кибербезопасности открытого программного обеспечения и открытого ИИ. Исследование подготовил Университет Гринвича. Авторы проанализировали 14 561 академическую публикацию, из которых 43 прошли отбор, а также 172 источника так называемой «серой литературы» - отчёты государственных органов, стандарты, рекомендации отраслевых организаций и другие материалы. Отдельно исследовались GitHub и Hugging Face. Одна из главных проблем, которую отмечают авторы, - отсутствие единого понимания того, что именно считать открытым ИИ. Для программного обеспечения существует достаточно устоявшееся определение Open Source Initiative. Для ИИ конкурируют как минимум три подхода: открытый исходный код, открытые веса модели и более широкое понимание открытости, включающее данные, инструменты и процесс разработки. При этом открыть веса модели недостаточно для того, чтобы понять, откуда взялось её поведение. В случае ИИ важны не только исходный код, но и обучающие данные, происхождение модели, история дообучения, инструменты разработки и сами веса. Среди специфических угроз исследование называет отравление датасетов, изменение весов модели, небезопасное дообучение и отсутствие возможности проследить происхождение модели. Авторы отдельно обращают внимание на разрыв между привычным пониманием open source и тем, что сегодня называют open-source AI. В качестве наиболее полного подхода они рассматривают Open Source AI Definition 1.0, согласно которому должны быть доступны сведения об обучающих данных, исходный код и параметры модели. При таком подходе одной публикации весов недостаточно. Есть и довольно показательная цифра. Среди 10 000 наиболее скачиваемых моделей на Hugging Face с разрешительными открытыми лицензиями только 15 имели в описании сведения, относящиеся к безопасности, - менее 0,2%. В исследованных примерно 2 000 GitHub-репозиториях, связанных одновременно с ИИ и безопасностью, содержательная информация по безопасности обнаружилась только в 131 репозитории - около 6%. Для обычного открытого ПО проблема безопасности уже хорошо изучена: существуют анализ зависимостей, управление уязвимостями, SBOM (перечень компонентов программного продукта, Software Bill of Materials), процедуры раскрытия уязвимостей и другие практики. Для ИИ аналогичная инфраструктура только формируется. Авторы предлагают, в частности, развивать AI BoM (перечень компонентов ИИ, AI Bill of Materials), который позволял бы фиксировать происхождение обучающих данных, историю создания модели, дообучение и известные уязвимости. Исследование при этом не утверждает, что открытый ИИ сам по себе менее безопасен. Оно показывает другое: существующие методы оценки безопасности открытого ПО не полностью подходят для моделей ИИ, а необходимая документация и механизмы проверки пока распространены недостаточно. Для Пиратской партии это особенно интересная тема: в программе партии ещё в 2017 году закреплены ориентация государственных органов на свободные и открытые технологии, открытые стандарты и форматы, свободный доступ к информации и открытость данных. Отдельно программа говорит о необходимости кибербезопасности и защиты персональных данных. Таким образом, вопрос сегодня уже не только в том, «открыта» ли нейросеть. Важно понимать, что именно открыто, откуда это взялось и можно ли проверить цепочку создания и изменения модели.