Cisco выпустила сканер для проверки «родословной» ИИ-моделей

Компания Cisco представила Model Provenance Kit — решение с открытым кодом для отслеживания происхождения искусственного интеллекта. Инструмент создает цифровые «отпечатки» моделей, позволяя компаниям проверять историю изменений, выявлять скрытые уязвимости и контролировать безопасность цепочек поставок при использовании сторонних разработок из открытых репозиториев.

Современная экосистема ИИ строится на бесконечном переиспользовании: разработчики берут готовые решения с Hugging Face, дообучают их, объединяют или проводят дистилляцию. В этом процессе теряется прозрачность. Организации часто не знают, какие данные легли в основу алгоритма и не содержит ли он «отравленных» слоев или критических уязвимостей, способных скомпрометировать корпоративную инфраструктуру через чат-ботов и агентные системы.

Model Provenance Kit решает проблему через создание уникальных идентификаторов на основе глубокого анализа структуры нейросети. Инструмент на языке Python исследует не только метаданные, но и внутреннюю геометрию весов, включая профили эмбеддингов и энергетические характеристики слоев. Такой подход позволяет идентифицировать модель, даже если ее название и описание были полностью изменены новыми владельцами.

Система работает в двух основных сценариях. Функция compare напрямую сопоставляет два файла, чтобы подтвердить их родство, а режим scan ищет совпадения в глобальной базе Cisco. Это дает возможность восстановить «генеалогию» ИИ-артефакта, даже если документация к нему отсутствует или была намеренно искажена для сокрытия первоначального источника.

Разработчики подчеркивают, что в условиях ужесточения аудита ИИ-модели перестают быть статичными объектами. Постоянные модификации превращают их в динамические системы, контроль которых невозможен без доказательного отслеживания каждого этапа изменений. Инструмент уже опубликован в открытом доступе на GitHub, а сопутствующая база данных «отпечатков» размещена на платформе Hugging Face.