面向商用存算一體架構(gòu)矩陣乘算子協(xié)同優(yōu)化策略研究

摘要： 由于近存架構(gòu)對數(shù)據(jù)密集型程序加速的潛力，Samsung等公司推出基于高帶寬存儲器與存內(nèi)計算(HBM-PIM)的近存芯片用于大模型加速，得益于HBM的高帶寬和天然并行特性，近存計算表現(xiàn)出對大模型極佳的加速。該文發(fā)現(xiàn)，矩陣規(guī)模變化時，HBM-PIM架構(gòu)的加速性能表現(xiàn)出不穩(wěn)定性，限制了大模型部署的加速提升。為了釋放HBM-PIM的加速潛力，該文深度分析了不同規(guī)模算子在HBM-PIM上... （共11頁）