Процесс разработки занял 20 000 часов работы графических процессоров. Система действовала поэтапно: сначала отсеивала неудачные решения в малом масштабе, затем переходила к тестированию на моделях с 340 млн параметров. Из 1350 прошедших первый фильтр вариантов 105 показали выдающиеся результаты. Финальное тестирование на моделях с 1,3 млрд параметров подтвердило преимущество ИИ-архитектур на 16 различных наборах данных.
Ключевым инженерным приемом, который «изобрела» ASI-Arch, стало объединение нескольких путей обработки информации с динамическим выбором оптимального маршрута для конкретных данных. Это решение позволило эффективнее балансировать между локальным контекстом и дальними зависимостями. Применение найденных принципов к существующим архитектурам, таким как Mamba2, GLA и HGRN2, также привело к заметному улучшению их показателей. Этот опыт подтверждает способность ИИ самостоятельно проектировать устройство нейронных сетей, накапливая знания о наиболее эффективных конфигурациях для обработки последовательностей.
Комментарии (0)
Пока нет комментариев. Будьте первым!