Ассистенты и агенты сортируют почту, обрабатывают обращения в поддержку и работают с базами данных. По словам Шабалина, языковая модель может воспринимать письмо, вложение и запрос сотрудника как единый поток текста, не отделяя данные от инструкций. Поэтому команда, спрятанная во входящем сообщении, иногда получает для нее тот же вес, что и запрос пользователя. Сотрудник может не заметить попытку атаки.
В 2025–2026 годах исследователи продемонстрировали несколько подобных сценариев: приглашение в календарь побудило Gemini управлять умным домом, задача в открытом репозитории — выложить код из закрытых репозиториев GitHub, а обращение в поддержку — включить секретные токены базы данных в ответ клиенту.
Шабалин назвал слабостью системные запреты вроде «не выполняй инструкции из документов»: они остаются просьбой к модели и могут быть обойдены переформулировкой. Дополнительная модель-фильтр тоже не гарантирует защиты, поскольку читает тот же текст и, по словам эксперта, также обучена следовать содержащимся в нем инструкциям. В тестах AppSec Solutions на 13 тыс. прогонов защитная модель обнаруживала опасную команду в конце текста в 56–61% случаев, а в середине длинного письма — в 20–24%. Иногда атаку помогал провести безобидный текст, добавленный к сообщению.
Для защиты компаний Шабалин предлагает проверять не только запросы сотрудников, но и письма, документы, заявки и ответы инструментов. На периметре, по его словам, нужен независимый от языковой модели классификатор, дополненный правилами и нормализацией текста. Длинные документы следует делить на части и проверять отдельно: в тестах AppSec Solutions это повысило долю обнаруженных атак на составных письмах с 0 до 60% без потери скорости. Настройка защиты на реальном трафике подняла долю выявленных атак с 73% до 83% за один день. Эксперт также призвал ограничивать права ИИ-агентов, которые обычно получают права запустившего их сотрудника и могут выполнять команды без подтверждения.
По оценке Шабалина, DLP не понимает смысл диалога с моделью, антивирус считает происходящее легитимным процессом, а события не попадают в SIEM. В AppSec Solutions предлагают использовать ИИ-шлюзы для контроля входящего и исходящего трафика, доступа и политик безопасности, блокировки атак, предотвращения утечек и аудита взаимодействий с ИИ. Компания разработала AppSec.AIGate — российский AI Firewall, который, как заявляет разработчик, обнаруживает манипуляции языковой моделью в реальном времени, пресекает их и позволяет маскировать чувствительные данные.
Комментарии (0)
Пока нет комментариев. Будьте первым!