面向分布式集群的GPU性能分析與建模方法：現(xiàn)狀及展望

摘要： 隨著人工智能與高性能計(jì)算的快速發(fā)展，模型復(fù)雜度和數(shù)據(jù)規(guī)模持續(xù)增長(zhǎng)，使得單個(gè)GPU難以應(yīng)對(duì)大規(guī)模計(jì)算任務(wù).因此，分布式GPU集群已成為現(xiàn)代深度學(xué)習(xí)與科學(xué)計(jì)算任務(wù)的重要基礎(chǔ)設(shè)施.為了充分發(fā)揮此類系統(tǒng)的計(jì)算潛力，高效的性能分析與建模方法在識(shí)別系統(tǒng)瓶頸、優(yōu)化資源利用以及指導(dǎo)系統(tǒng)設(shè)計(jì)決策方面顯得尤為關(guān)鍵.本文系統(tǒng)綜述了分布式集群環(huán)境中GPU性能分析與建模的前沿方法.首先深入剖析了當(dāng)前主流... （共15頁(yè)）