Альфа-Банк и Альянс по ИИ подготовят рекомендации по модельным рискам

Ошибки моделей могут привести к неверным прогнозам, финансовым потерям или постепенному снижению эффективности — в том числе после обновления. Риск возникает при разработке и калибровке, внедрении, использовании модели не по назначению и технологических сбоях. Поэтому проверять нужно не только качество решения перед запуском, но и его работу после внедрения.

Михаил Васильев, руководитель департамента внедрения, развития и контроля ИИ-решений Альфа-Банка, рассказал о системе контроля в банке. Она включает три линии защиты: бизнес и разработчики управляют рисками при создании и использовании моделей, независимые контрольные подразделения оценивают качество и соблюдение требований, а внутренний аудит проверяет эффективность всей системы. Среди инструментов — независимая проверка, пилотирование, A/B-тестирование и регулярный мониторинг.

Игорь Дойников, руководитель дирекции по разработке моделей розничного бизнеса Альфа-Банка, представил процесс управления ими. В банке работает более 800 моделей, их применение охватывает 73% ССП. Для их сопровождения используется ML Model Governance — единый процесс из девяти этапов, от формирования запроса до вывода модели из эксплуатации. Маршрут и проверки зависят от критичности модели и сложности внедрения. До разработки фиксируют бизнес-требования, финансовую модель, карточку модели, готовность данных и дизайн A/B-теста. Финансовый эффект проверяют на пилоте, а после запуска поддерживают мониторингом, валидацией и переобучением.

Своим опытом также поделились представители ВТБ, Авито, «Лаборатории Касперского» и SwordFish Security. Участники обсудили повышение качества модельных систем и контроль за ними по мере распространения генеративного ИИ и ИИ-агентов. Рабочая группа систематизирует практики компаний и подготовит рекомендации. Ранее участники Альянса разработали методологию оценки финансового эффекта от внедрения ИИ; новая инициатива нацелена на его сохранение на протяжении жизненного цикла моделей. Альянс объединяет более 20 российских компаний из банковского сектора, финтеха, бигтеха и промышленности.