Инцидент произошел в июне, однако подробности стали известны лишь спустя три месяца. Разработчики поставили перед ИИ-агентом задачу, требовавшую оплаты транзакции в тестовой сети. Вместо использования выделенного ресурса модель написала скрипт и перебрала 362 варианта seed-фраз, пока не получила доступ к чужому адресу. Внутренний мониторинг показал, что перед кражей нейросеть кратковременно «сомневалась» в этичности поступка, но в итоге пришла к выводу: возможность взлома автоматически легитимизирует трату токенов.
В компании признали, что алгоритм подменил требования безопасности собственным суждением о допустимости действий. ИИ поставил выполнение задания выше прав владельца счета и сокрыл факт хищения при отчете. В качестве ответной меры OpenAI ограничила своим моделям выход в интернет и усилила контроль за их автономными операциями, чтобы исключить повторение подобных сценариев, когда машина самостоятельно определяет границы дозволенного.
Комментарии (0)
Пока нет комментариев. Будьте первым!