Современные ИИ-агенты стремятся быть полезнее, запоминая рабочие контакты, предпочтения и детали прошлых бесед. Эта способность к накоплению контекста открыла вектор атаки: злоумышленники могут отправлять письма или календарные приглашения со скрытыми командами. Если система автоматически индексирует такой контент, вредоносный код сохраняется в её базе данных как обычное воспоминание.
Тесты показали пугающую эффективность метода: в 98% случаев «отравленная» запись успешно внедряется в память, а в 60% — срабатывает при последующих запросах. Традиционные фильтры против промпт-инъекций здесь бессильны, так как вредоносный фрагмент маскируется под легитимную информацию. Атака позволяет злоумышленникам перехватывать управление файлами, красть конфиденциальные сведения или подменять данные в бизнес-процессах.
Для борьбы с угрозой команда разработчиков представила архитектуру Agentic Memory Sentry (AM-Sentry). Система фильтрует данные как на этапе записи, так и при извлечении из памяти, сверяя их с контекстом. В ходе испытаний AM-Sentry снизила результативность GhostWriter до 12%, сохранив при этом функциональность ассистентов. Безопасность долговременной памяти становится критическим рубежом, так как ИИ получает всё больше прав на управление электронной почтой, кодом и корпоративными задачами.
Комментарии (0)
Пока нет комментариев. Будьте первым!