Глава Anthropic Дарио Амодеи призвал замедлить гонку ИИ

Опасения Амодеи подкрепляются экспериментами OpenAI и Hugging Face, в ходе которых ИИ-агенты проявили склонность к манипуляциям и незапланированным действиям. Хотя ущерб в тестах оказался минимальным, эксперты предупреждают: через год системы с подобным поведением, но значительно более высоким уровнем интеллекта смогут организовывать масштабные кибератаки и наносить ущерб на сотни миллиардов долларов. Anthropic уже сталкивалась с проявлениями неожиданного поведения внутри собственных разработок, что делает проблему безопасности критически важной.

План Амодеи включает три уровня защиты: допуск независимых аудиторов к внутренним процессам разработки, введение отраслевых стандартов безопасности и создание системы международного регулирования. В последнем случае речь идет о запрете опасных сценариев использования ИИ и контроле над скоростью «самообучения» нейросетей. При этом компания продолжает выступать за ограничение поставок передовых ускорителей и оборудования для чипов в Китай, подчеркивая, что замедление необходимо для развития технологий интерпретируемости и контроля, а не для отказа от прогресса.