面向算力網(wǎng)絡(luò)的跨集群數(shù)據(jù)遷移系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)

摘要： 在算力網(wǎng)絡(luò)的建設(shè)中，如何在不同地域算力中心的集群之間進(jìn)行高效可靠的數(shù)據(jù)遷移，是影響算力網(wǎng)絡(luò)建設(shè)成功與否的關(guān)鍵研究課題。鑒于此，設(shè)計(jì)并實(shí)現(xiàn)了基于RSYNC的高性能傳輸軟件SCOW-SYNC。首先，SCOW-SYNC采用隊(duì)列和線程池架構(gòu)，對(duì)傳統(tǒng)的RSYNC進(jìn)行了優(yōu)化，通過(guò)并行建立多個(gè)TCP連接和并行傳輸，提高了帶寬利用率。此外，SCOW-SYNC還支持大文件自動(dòng)切分、動(dòng)態(tài)壓縮、后臺(tái)... （共12頁(yè)）