В основе подхода лежит отказ от классического плотного механизма внимания в пользу разреженного (sparse) метода. Если в стандартных LLM каждый токен взаимодействует со всеми остальными, создавая экспоненциальную нагрузку при росте текста, SubQ выбирает лишь часть связей. Это позволяет модели обрабатывать массивы из сотен документов или гигантские кодовые базы за один проход.
Первые заявления компании встретили волну скепсиса в экспертной среде из-за закрытого характера разработки. Чтобы сбить градус недоверия, стартап привлек компанию Appen для независимой проверки. Тесты подтвердили высокую скорость работы и достойные результаты на бенчмарке LiveCodeBench, однако специалисты отмечают, что архитектура SubQ во многом базируется на адаптации моделей семейства Qwen.
На текущий момент доступ к технологии имеют лишь корпоративные партнеры, что не позволяет сообществу провести полноценный аудит заявленных характеристик. Остается неясным, насколько новая архитектура способна стать полноценной заменой трансформерам в широком спектре задач, или же речь идет об узкоспециализированном решении для работы с длинным контекстом.
Комментарии (0)
Пока нет комментариев. Будьте первым!