ИИ провалил тест на самостоятельное открытие алгоритмов

Исследователи применили метод «машинного забывания» к трем моделям с открытыми весами, чтобы оценить их способность к самостоятельному изобретению алгоритмов вроде метода Евклида или алгоритма Дейкстры. В условиях отсутствия прямых подсказок системы продемонстрировали неспособность восстановить почти половину протестированных решений. Даже частичное блокирование токенов, связанных с названиями алгоритмов, снижало результативность нейросетей на 19–39%, что подтверждает зависимость ИИ от уже усвоенных формулировок.

Результаты эксперимента выявили феномен «схлопывания рассуждений»: без внешней обратной связи модели склонны прекращать поиск решения, быстро переходя к упрощенным или ошибочным выводам. При этом пошаговые инструкции и помощь проверяющего модуля значительно повышали шансы на успех. Авторы работы отмечают, что текущие модели обладают навыками для решения сложных задач, но их прогресс сильно ограничен опорой на заученные паттерны, а не на способность к независимому алгоритмическому мышлению.