Почему нейросети «забывают» очевидные факты

Проблема заключается не в дефиците обучающих данных, а в доступе к ним. Анализ 2150 фактов из «Википедии» показал, что модели успешно кодируют до 98% материала, однако при прямом запросе не могут воспроизвести до 34% из них. Команда Google предложила метод профилирования знаний, разделяющий ошибки на две категории: «пустые полки», где данных физически нет, и «потерянные ключи», когда информация заблокирована внутри архитектуры нейросети.

Особое внимание авторы уделили структуре запросов. Выяснилось, что нейросети крайне чувствительны к порядку слов: если привычный синтаксис «субъект-объект» меняется на обратный, эффективность извлечения данных падает. Это доказывает, что модель может знать ответ, но не способна соотнести его с перефразированным вопросом. Разработчикам предложено уйти от стандартных шаблонов тестирования и проверять системы на вариативных формулировках, чтобы выявлять сбои в логике поиска, а не просто констатировать пробелы в эрудиции ИИ.