如果從更加宏觀的角度考慮，處于動態(tài)抓取過程中的爬蟲和互聯(lián)網(wǎng)所有網(wǎng)頁之間的關(guān)系，可以概括為以下 5 個部分：

已下載網(wǎng)頁結(jié)合：爬蟲已經(jīng)從互聯(lián)網(wǎng)下載到本地進行索引的網(wǎng)頁集合。

已過期網(wǎng)頁結(jié)合：由于網(wǎng)頁數(shù)量龐大，爬蟲完整抓取一輪需要較長時間，在抓取過程中，很多已下載的網(wǎng)頁可能已經(jīng)更新了，從而導(dǎo)致過期。之所以如此，是因為互聯(lián)網(wǎng)網(wǎng)頁處于不斷的動態(tài)變化過程中，所以易產(chǎn)生本地網(wǎng)頁內(nèi)容和真實互聯(lián)網(wǎng)不一致的情況。

待下載網(wǎng)頁集合：處于待抓取URL隊列中的網(wǎng)頁，這些網(wǎng)頁即將被爬蟲下載。

可知網(wǎng)頁集合：這些網(wǎng)頁還沒有被爬蟲下載，也沒有出現(xiàn)在待抓取URL隊列中，通過已經(jīng)抓取的網(wǎng)頁或者在待抓取URL隊列中的網(wǎng)頁，總是能夠通過鏈接關(guān)系發(fā)現(xiàn)它們，稍晚時候會被爬蟲抓取并索引。

未知網(wǎng)頁集合：有些網(wǎng)頁對于爬蟲是無法抓取到的，這部分網(wǎng)頁構(gòu)成了未知網(wǎng)頁結(jié)合。事實上，這部分網(wǎng)頁所占的比例很高。

互聯(lián)網(wǎng)頁面劃分

從理解爬蟲的角度看，對互聯(lián)網(wǎng)網(wǎng)頁給出如上劃分有助于深入理解搜索引擎爬蟲所面臨的主要任務(wù)和挑戰(zhàn)。絕大多數(shù)爬蟲系統(tǒng)遵循上文的流程，但是并非所有的爬蟲系統(tǒng)都如此一致。根據(jù)具體應(yīng)用的不同，爬蟲系統(tǒng)在許多方面存在差異，大體而已，可以將爬蟲系統(tǒng)分為如下 3 種類型：

1.批量型爬蟲：批量型爬蟲有比較明確的抓取范圍和目標(biāo)，當(dāng)爬蟲達到這個設(shè)定的目標(biāo)后，即停止抓取過程。

至于具體目標(biāo)可能各異，也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁即可，也許是設(shè)定抓取的時間等，各不一樣。

2.增量型爬蟲：增量型爬蟲與批量型爬蟲不同，會保持持續(xù)不斷的抓取，對于抓取到的網(wǎng)頁，要定期更新。

因為互聯(lián)網(wǎng)網(wǎng)頁處于不斷變化中，新增網(wǎng)頁、網(wǎng)頁被刪除或者網(wǎng)頁內(nèi)容更改都很常見，而增量型爬蟲需要及時反映這種變化，所以處于持續(xù)不斷的抓取過程中，不是在抓取新網(wǎng)頁，就是在更新已有網(wǎng)頁。通用的商業(yè)搜索引擎爬蟲基本都屬此類。

3.垂直型爬蟲：垂直型爬蟲關(guān)注特定主題內(nèi)容或者屬于特定行業(yè)的網(wǎng)頁，比如對于健康網(wǎng)站來說，只需要從互聯(lián)網(wǎng)頁面里找到與健康相關(guān)的頁面內(nèi)容即可，其他行業(yè)的內(nèi)容不在考慮范圍。

垂直型爬蟲一個較大的特點和難點就是：如何識別網(wǎng)頁內(nèi)容是否屬于指定行業(yè)或主題。

從節(jié)省系統(tǒng)資源的角度來講，不可能把所有互聯(lián)網(wǎng)頁面下載之后在進行篩選，這樣會造成資源過度浪費，往往需要爬蟲在抓取階段就能夠動態(tài)識別某個網(wǎng)址是否與主題相關(guān)，并盡量不去抓取無關(guān)頁面，以達到節(jié)省資源的目的。垂直搜索網(wǎng)站或者垂直行業(yè)網(wǎng)站往往需要此種類型的爬蟲。