基于結(jié)構(gòu)增強(qiáng)的異質(zhì)數(shù)據(jù)聯(lián)邦學(xué)習(xí)模型正則優(yōu)化算法

摘要： 聯(lián)邦學(xué)習(xí)中由于不同客戶端本地?cái)?shù)據(jù)分布異質(zhì)，在本地?cái)?shù)據(jù)集上訓(xùn)練的客戶端模型優(yōu)化目標(biāo)與全局模型不一致，導(dǎo)致出現(xiàn)客戶端漂移現(xiàn)象，影響全局模型性能.為了解決非獨(dú)立同分布數(shù)據(jù)帶來的聯(lián)邦學(xué)習(xí)模型性能下降甚至發(fā)散的問題，文中從本地模型的通用性角度出發(fā)，提出基于結(jié)構(gòu)增強(qiáng)的異質(zhì)數(shù)據(jù)聯(lián)邦學(xué)習(xí)模型正則優(yōu)化算法.在客戶端利用數(shù)據(jù)分布異質(zhì)的本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練時(shí)，以結(jié)構(gòu)化的方式采樣子網(wǎng)絡(luò)，并對客戶端本地?cái)?shù)據(jù)...