SW-IntraCC：一種面向申威智能加速卡內部的集合通信機制

摘要： 大規(guī)模語言模型參數(shù)量呈指數(shù)級增長趨勢，對加速卡算力密度與通信效率提出更高要求，推動單卡多芯粒、多芯片及多通信實體等新型架構的快速發(fā)展.申威智能加速卡采用4個核組片上環(huán)網(wǎng)架構，但在大模型訓練中，數(shù)據(jù)通信量大和卡內傳統(tǒng)Ring集合通信方式面臨單核組顯存容量與傳輸帶寬雙重限制、卡內集合通信效率低、通信計算無法重疊等核心瓶頸.采用軟硬協(xié)同設計理念提出SW-IntraCC(Sunwayi... （共14頁）