AI для бизнеса

«Ростелеком» ищет файрвол для нейросетей: под контроль поставят 1,5 тыс. ИИ-решений ▶️ «Ростелеком» изучает возможность создания специализированной «системы контроля коммуникаций LLM-приложений» - по сути, корпоративного LLM-файрвола. Речь пока идёт не о тендере, а о запросе информации, заявки по которому от потенциальных поставщиков принимаются до 19 октября. В контуре «Ростелекома» уже используется как минимум 1,5 тыс. решений на базе генИИ, и при таком количестве точечные проверки перестают работать: нужен единый слой контроля, который видит весь трафик между пользователями, внутренними системами и внешними языковыми моделями. Именно такую роль должен сыграть LLM-файрвол. Весь софт проекта должен входить в реестр Минцифры; в качестве базового стека выбраны: 🔴 операционная система «РЕД ОС»; 🔴 виртуализация «Базис»; 🔴 СУБД Platform V Pangolin SE на базе PostgreSQL. Анализ диалогов планируется вести в реальном времени. Проверяться будут как входящие промпты, так и ответы моделей. Шлюз должен распознавать попытки обойти ограничения модели, внедрить вредоносные инструкции, извлечь системные настройки или скрытно выгрузить закрытые данные через наводящие вопросы. 🔼 Если проект дойдёт до внедрения, он может стать одним из крупнейших в России примеров защиты генеративного ИИ на уровне всей компании. А значит, спрос на подобные решения будет только расти вместе с количеством LLM-приложений, агентов и новых нейросетевых угроз. 🦾 AI для бизнеса в Telegram | в MAX