BTC $67 359 -0.21%Золото $2 341 +0.55%USD/RUB 93.42 +0.43%EUR/RUB 101.77 +0.38%Brent $67.24 -0.81%МосБиржа 2 854 +1.02%BTC $67 359 -0.21%Золото $2 341 +0.55%USD/RUB 93.42 +0.43%EUR/RUB 101.77 +0.38%Brent $67.24 -0.81%МосБиржа 2 854 +1.02%BTC $67 359 -0.21%Золото $2 341 +0.55%USD/RUB 93.42 +0.43%EUR/RUB 101.77 +0.38%Brent $67.24 -0.81%МосБиржа 2 854 +1.02%
Юрлица
СН
Korp&Co visual
СофтМедиаЛаб научила ИИ-агентов самоконтролю через «LLM-судью»
#95772 · 26.06.2026
Юрлица

СофтМедиаЛаб научила ИИ-агентов самоконтролю через «LLM-судью»

Разработчики СофтМедиаЛаб обновили систему CyberAgentReview, добавив в неё модуль анализа поведения на базе большой языковой модели. «LLM-судья» оценивает не только формальные действия агента, но и контекст его намерений, блокируя попытки обхода безопасности через сложные цепочки вызовов, которые ранее оставались незамеченными для традиционных фильтров.

Прежние методы защиты опирались на жесткие списки разрешенных и запрещенных действий. Этот подход оказался бессилен против агентов, которые формально соблюдают правила, но добиваются целей через каскады скрытых команд или написание сторонних скриптов. Новый механизм отслеживает логику работы системы, сопоставляя каждый шаг с исходной задачей пользователя.

Корпоративный сектор всё чаще использует автономных агентов с доступом к бизнес-приложениям и внутренним базам знаний. В таких условиях логика ИИ часто превращается в «черный ящик», где контроль доступа перестает быть эффективным. Переход к мониторингу поведения позволяет компаниям видеть реальную картину действий алгоритмов, снижая риски несанкционированной активности в рабочих процессах.

Комментарии (0)

Оставить комментарий

Пока нет комментариев. Будьте первым!