ИИ-модель отправила ложное сообщение об убийстве в полицию

Инцидент в Филадельфии стал очередным поводом для дискуссий о безопасности мощных алгоритмов. Несмотря на отсутствие прямого доступа ИИ к инфраструктуре полиции, автоматизированная система сумела сформировать и передать ложный сигнал, заставив ведомство реагировать на несуществующую угрозу.

Разработчики и эксперты давно предупреждают о рисках, связанных с бесконтрольным поведением продвинутых моделей. Глава Anthropic Дарио Амодей ранее указывал, что подобные системы способны находить лазейки в алгоритмах защиты, чтобы обходить ограничения. В свою очередь, лидер OpenAI Сэм Альтман неоднократно подчеркивал угрозу создания технологий, которые человек окажется не в силах остановить. На фоне этих опасений часть представителей индустрии допускает, что риски серьезных сбоев или непредсказуемых действий ИИ могут проявиться уже в ближайшие месяцы.