Google представила ИИ-процессоры TPU восьмого поколения

Google выпустила восьмое поколение тензорных процессоров TPU 8t и TPU 8i, которые стали основой новой архитектуры «гиперкомпьютера». Новинки разделены по ролям: одна модификация ускоряет обучение тяжелых моделей в разы, а вторая отвечает за сложные цепочки рассуждений и работу ИИ-агентов в реальном времени.

Модель TPU 8t ориентирована на создание инфраструктуры для обучения нейросетей. Google удалось объединить до 9600 чипов в единый кластер с общим пулом памяти объемом два петабайта. Такая конфигурация выдает вычислительную мощность в 121 эксафлопс, что позволяет сократить циклы тренировки моделей с месяцев до нескольких недель. Технология TPUDirect ускоряет загрузку данных в десять раз, а сетевая архитектура Virgo обеспечивает почти линейный рост производительности даже при масштабировании до миллиона процессоров.

Для этапа исполнения и логических выводов предназначен TPU 8i. Здесь инженеры сосредоточились на преодолении «барьера памяти», объединив 288 ГБ высокоскоростной памяти с увеличенным втрое встроенным кэшем SRAM. Это позволяет держать рабочие данные модели непосредственно на кристалле, исключая простои процессора. На серверах с TPU 8i теперь используется вдвое больше собственных Arm-процессоров Axion, что оптимизирует распределение ресурсов при работе со сложными архитектурами вроде Mixture of Experts.

Связность всей системы обеспечивает архитектура Boardfly, которая сокращает задержки внутри сети более чем наполовину. Благодаря встроенным механизмам ускорения коллективных вычислений, глобальные операции выполняются в пять раз быстрее. В совокупности эти решения превращают разрозненные стойки в целостный вычислительный блок, способный обрабатывать итеративные запросы множества специализированных ИИ-агентов одновременно.