一種面向快速Web漏洞掃描的網(wǎng)頁爬取方法

摘要： 隨著Web應(yīng)用規(guī)模的不斷擴(kuò)大，對網(wǎng)站進(jìn)行漏洞掃描的時間成本也不斷增加。為此，提出一種面向快速Web漏洞掃描的網(wǎng)頁爬取方法。該方法在傳統(tǒng)的面向Web漏洞掃描的爬蟲的基礎(chǔ)上，利用增量閉頻繁項(xiàng)集挖掘算法對網(wǎng)站頁面進(jìn)行階段性聚類，并基于頁面聚簇和爬蟲日志構(gòu)建頁面分類模型，以過濾由同一個服務(wù)處理程序生成的冗余頁面。實(shí)驗(yàn)表明，該方法能有效減少漏洞掃描系統(tǒng)在網(wǎng)站目錄遍歷和頁面聚類上消耗的時間... （共7頁）