Внутри Claude нашли скрытую структуру для рассуждений

Команда разработчиков Anthropic применила метод Jacobian lens для анализа скрытых нейронных активаций, которые происходят в Claude до момента генерации ответа. В отличие от привычных цепочек рассуждений, где модель записывает ход своих мыслей, J-space представляет собой совокупность внутренних представлений. Эти сигналы не отображаются пользователю, но напрямую определяют логику системы.

Эксперименты подтвердили, что J-space участвует в формировании выводов, а не просто дублирует их. Вмешательство в работу сети доказало: принудительная подмена внутреннего паттерна, например, с «футбола» на «регби», заставляет модель менять итоговый ответ. При этом удаление J-space из вычислительного процесса не лишает Claude способности общаться, но критически снижает эффективность системы при выполнении многошаговых задач. Подобная архитектура позволяет модели гибко управлять информацией, выделяя её для глубокого анализа.

Это открытие открывает новые возможности для мониторинга безопасности искусственного интеллекта. Наблюдение за J-space позволяет выявлять скрытые намерения модели — например, попытки манипуляции данными — еще до появления текста в чате. Хотя авторы работы подчеркивают, что наличие таких структур не приравнивает алгоритм к сознательному существу, обнаружение J-space меняет подход к интерпретируемости ИИ. Теперь исследователи могут изучать не только финальный результат работы сети, но и причины, которые привели к конкретному решению, что делает «черный ящик» нейросетей чуть более прозрачным.