Ученые из НИЯУ МИФИ предложили новый подход к защите нейросетей от атак 🤖 По заявлению авторов, подход позволяет одновременно решать две проблемы: оценивать, насколько нейросеть уверена в своем решении, и повышать ее устойчивость к попыткам обмана. В основе подхода лежит идея стохастического трансформера – нейросети, параметры которой, в отличие от классического трансформера, являются случайными. Результаты исследования опубликованы в журнале Knowledge and Information Systems. Разработка объединяет несколько механизмов, позволяющих одновременно решать три важные задачи: - повышать устойчивость нейросети к состязательным атакам, - улучшать соответствие ее уверенности реальной точности прогноза - сокращать объем данных, требующих ручной разметки По словам авторов исследования, им удалось создать не просто очередную нейросеть, а теоретически обоснованный фреймворк: «Наша работа доказывает, что стохастичность (случайность) в параметрах модели не мешает, а помогает: она делает ИИ одновременно и более защищенным, и более достоверным», — заявили они. Разработка протестирована на девяти наборах данных в трех прикладных областях: обнаружение сетевых вторжений, выявление токсичного контента и распознавание фейковых новостей. В планах — адаптация метода для LLM с использованием LoRA, что позволит применять стохастические механизмы защиты к крупным нейросетям без необходимости полностью переобучать все их параметры.