Внедрение специализированного ускорителя Element Accelerator позволяет эффективнее обрабатывать входные данные, что критически важно для работы с длинным контекстом. По внутренним замерам компании, производительность при использовании формата INT4 возрастает до 50 процентов на этапе подготовки генерации ответа. Архитектура также оптимизирована под Mixture-of-Experts: при выполнении задачи задействуется лишь часть параметров модели, что позволяет запускать нейросети с 30 миллиардами параметров на мобильных устройствах с ограниченным объемом RAM.
Чип поддерживает работу с широким спектром форматов, включая INT2, INT8, FP8 и FP16, давая разработчикам гибкость в выборе между точностью вычислений и потреблением ресурсов. Несмотря на заявленные улучшения, Qualcomm пока не раскрывает точные технические характеристики, такие как объем кэш-памяти в мегабайтах или пиковые показатели энергопотребления. Детальный разбор платформы состоится на Snapdragon Summit, который пройдет на Гавайях с 22 по 24 сентября.
Комментарии (0)
Пока нет комментариев. Будьте первым!