基于注意力機(jī)制的稀疏化剪枝方法

摘要： 為在資源受限設(shè)備中部署先進(jìn)神經(jīng)網(wǎng)絡(luò)模型，提出一種基于通道和空間注意力機(jī)制的網(wǎng)絡(luò)稀疏化剪枝訓(xùn)練方法，將剪枝訓(xùn)練過程轉(zhuǎn)化為約束優(yōu)化問題。將通道和空間注意力融入稀疏化剪枝訓(xùn)練過程，利用連續(xù)空間損失變化情況評估不同網(wǎng)絡(luò)層重要程度，通過稀疏化訓(xùn)練與動態(tài)計(jì)算及更新掩碼矩陣和權(quán)重矩陣完成剪枝操作。方法實(shí)驗(yàn)基于CIFAR10、CIFAR100數(shù)據(jù)集上進(jìn)行，實(shí)驗(yàn)結(jié)果表明，該方法在較為復(fù)雜數(shù)據(jù)集C...