Системный Блокъ

И швец, и жнец, и на дуде игрец: что такое ИИ-агент Чат-бот отвечает на сообщение, а ИИ-агент может самостоятельно выполнять последовательность действий — открывать сервисы, искать файлы, запускать программы, заполнять формы и отправлять письма. Разбираемся, как устроены агенты, какие задачи им можно доверить и какие риски создает их использование. Как работает ИИ-агент Главный признак агента — агентность, то есть способность не просто отвечать на запрос, а самостоятельно действовать ради поставленной цели. Он сам выбирает следующий шаг, выполняет его, оценивает результат и, опираясь на доступные ему инструменты, решает, что делать дальше. Попросите чат-бота: «Найди мне рейс в Рим на следующие выходные дешевле 300 долларов». Он найдет варианты и выдаст список со ссылками. Дальше работаете вы: выбираете, бронируете, вносите поездку в календарь. Агенту можно поручить все целиком. Он сравнит рейсы, сверится с вашим календарем, забронирует подходящий, добавит поездку в календарь и пришлет подтверждение. В основе работы агента лежат три компонента: языковая модель, инструменты (браузер, поиск, базы данных и внешние сервисы) и цикл действий, который работает по принципу ReAct — «рассуждай и действуй». Агент анализирует ситуацию, вызывает инструмент, изучает результат и повторяет процесс, пока задача не будет решена. Что агенты умеют делать Исследовательская организация METR измеряет способности агентов с помощью горизонта задач — времени, которое потребовалось бы человеку на выполнение задачи. Например, если горизонт 50% составляет два часа, это значит, что задачи, на которые у человека уходит около двух часов, агент решает в половине случаев. С 2023 года горизонт задач удваивается примерно каждые 131 день. У модели Claude Mythos Preview горизонт 50% составляет не меньше 16 часов, а горизонт 80% — около трех часов. Точнее определить первый показатель не удалось: в тестовом наборе почти нет задач такой продолжительности. Разрыв показывает, что агент иногда справляется с многочасовой работой, но рассчитывать на стабильный результат пока нельзя. Кроме того, тесты METR в основном посвящены программированию, где успех легко проверить. На задачи вроде создания текста эти показатели напрямую не переносятся. Что такое обвязка ИИ-агента Надежность агента зависит не только от языковой модели, но и от совокупности компонентов и механизмов, которые определяют его работу. Это называют обвязкой . В нее входят инструкции для агента, набор доступных инструментов, автоматические проверки, ограничения прав доступа, изолированная среда запуска и журнал действий. Зачем агентам протоколы Чтобы агенты могли пользоваться внешними сервисами и взаимодействовать друг с другом, нужны специальные протоколы — правила обмена данными между программами. Без них каждое подключение пришлось бы разрабатывать отдельно. MCP, разработанный Anthropic в 2024 году, связывает агента с инструментами и данными. Его можно сравнить с USB-разъемом: если у сервиса есть MCP-сервер, к нему может подключиться любой совместимый агент. A2A, представленный Google в 2025 году, позволяет агентам разных компаний обмениваться задачами и договариваться о выполнении работы. Например, агент-туроператор может связаться с агентом отеля и организовать бронирование. Сам A2A не создает агентов, а только связывает уже готовых. Какие риски создают агенты Один из основных рисков — prompt injection, внедрение команд. Агент может принять инструкцию из электронного письма или веб-страницы за указание пользователя. Особенно опасно сочетание, которое исследователь Саймон Уиллисон называет «смертельной тройкой»: у агента есть доступ к личным данным, он читает информацию из ненадежных источников и может отправлять данные наружу. Другая угроза — общие ресурсы. Например, все боты Grok Bot в одном аккаунте работают на общем облачном компьютере. Если один бот прочитает вредоносную инструкцию, под угрозой окажутся и остальные, поэтому компания советует не держать там пароли и файлы, которые не нужны другим ботам. Опасность также представляют избыточные права доступа, вредоносные описания инструментов в MCP-серверах и теневые агенты — ИИ-инструменты, которыми сотрудники используют без одобрения компании. Защититься помогают ограничения прав, песочницы (изолированные среды запуска) и подтверждение человеком необратимых действий. Поэтому перед внедрением агента стоит ответить на четыре вопроса: как мы проверим результат? Что агент может сделать без подтверждения? Кто следит за его работой? Можно ли отменить его ошибку? Подробнее о том, как работают ИИ-агенты, — в полной версии материала. Время чтения: 15 минут 🤖 «Системный Блокъ» @sysblok