NM-SpMM:面向國產(chǎn)異構(gòu)向量處理器的半結(jié)構(gòu)化稀疏矩陣乘算法
計(jì)算機(jī)工程與科學(xué)
頁數(shù): 10 2024-07-15
摘要: 深度神經(jīng)網(wǎng)絡(luò)在自然語言處理、計(jì)算機(jī)視覺等領(lǐng)域取得了優(yōu)異的成果,由于智能應(yīng)用處理數(shù)據(jù)規(guī)模的增長和大模型的快速發(fā)展,對深度神經(jīng)網(wǎng)絡(luò)的推理性能要求越來越高,N∶M半結(jié)構(gòu)化稀疏化技術(shù)成為平衡算力需求和應(yīng)用效果的熱點(diǎn)技術(shù)之一。國產(chǎn)異構(gòu)向量處理器FT-M7032為智能模型處理中的數(shù)據(jù)并行和指令并行開發(fā)提供了較大空間。針對N∶M半結(jié)構(gòu)化稀疏模型計(jì)算稀疏模式多樣性,提出了一種面向FT-M703... (共10頁)