異構環(huán)境感知的分布式神經(jīng)網(wǎng)絡訓練模型

摘要： 針對分布式神經(jīng)網(wǎng)絡訓練在異構環(huán)境中訓練速度慢、資源利用率低的問題，提出一種異構環(huán)境感知的分布式神經(jīng)網(wǎng)絡訓練模型(H-PS)。根據(jù)計算節(jié)點當前狀態(tài)動態(tài)調(diào)度訓練任務，使計算節(jié)點能夠在相同時間完成訓練任務，提高資源利用率。提出通信與計算并行策略，參數(shù)服務器與計算節(jié)點傳輸模型參數(shù)期間，計算節(jié)點持續(xù)模型計算，進一步提高資源利用率。使用靈活的量化策略，壓縮神經(jīng)網(wǎng)絡模型參數(shù)，減少參數(shù)服務器與... （共7頁）