Scrapy框架下分布式網(wǎng)絡爬蟲數(shù)據(jù)采集算法仿真

摘要： 為提高數(shù)據(jù)采集速度、避免重復采集，提出Scrapy框架下分布式網(wǎng)絡爬蟲數(shù)據(jù)采集算法。利用搜索引擎、調度器、下載器、數(shù)據(jù)解析等模塊建立Scrapy框架，明確爬蟲體系內包括分布式計算與儲存兩部分；為確保爬蟲過程負載均衡，將爬蟲速度作為評價指標，計算節(jié)點權重；使用蟻群優(yōu)化算法，采用偽隨機規(guī)則，獲取智能體的網(wǎng)頁轉移概率，確定爬取路徑，更新每條路徑的信息素濃度，根據(jù)目標函數(shù)距離選取目標解... （共5頁）