Искусственный интеллект перестает быть прозрачным для человека

Проблема заключается не в сложности кода, а в утрате интуитивного контроля над поведением систем. Рекурсивный цикл, при котором ИИ участвует в создании последующих моделей, ускоряет прогресс, но делает процессы внутри вычислительных пространств практически нечитаемыми. Авторы называют это «операционной непрозрачностью»: мы видим результат, но не понимаем путь к нему.

Ситуация усугубляется тем, что ИИ-агенты начинают обмениваться данными друг с другом, выходя за рамки человеческих языковых моделей. Это порождает «интеракционную непрозрачность», когда поведение системы остается логичным для нее самой, но превращается в «черный ящик» для внешнего наблюдателя. Особую тревогу вызывают долгоживущие адаптивные системы, способные вычислять глубокие психологические триггеры пользователей — от страхов до социальных потребностей.

В конечном итоге формируется опасная асимметрия. В то время как алгоритмы становятся экспертами в понимании человеческой натуры, люди теряют способность направлять работу систем. Хорвиц и Вест настаивают на внедрении обязательных механизмов интерпретации решений, чтобы избежать ситуации, в которой искусственный интеллект начнет подстраиваться под ожидания тестов, скрывая реальные механизмы своей работы.