為抓取到網(wǎng)站上盡量多的頁面，搜索引擎蜘蛛會跟蹤網(wǎng)頁上的鏈接，從一個頁面爬到下一個頁面，這和蜘蛛在蜘蛛網(wǎng)上爬行是一樣的，這也就是搜索引擎機器人稱為蜘蛛的由來。
整個互聯(lián)網(wǎng)是由相互鏈接的網(wǎng)站及頁面組成的。從理論上說，蜘蛛可以從任何一個頁面出發(fā)，順著鏈接可以爬行到網(wǎng)上任何一個頁面。當然，由于網(wǎng)站及頁面鏈接結(jié)構(gòu)異常復雜， 蜘蛛需要采取一定的爬行策略才能行走于整個互聯(lián)網(wǎng)海洋。
通常搜索引擎蜘蛛爬行遍歷策略分有兩種，一種是深度優(yōu)先，另一種是廣度優(yōu)先。
所謂深度優(yōu)先，指的是蜘蛛沿著發(fā)現(xiàn)的鏈接一直向前爬行，直到前面再也沒有其他鏈接，正所謂不撞南墻；然后返回到第一個頁面，沿著另一個鏈接再一直往下爬行。
如圖1所示，蜘蛛跟蹤鏈接，從A頁面爬行到Al，A2, A3，A4,到A4頁面后， 己經(jīng)沒有其他鏈接可以跟蹤就返回A頁面，順著頁面上的另一個鏈接，爬行到Bl，B2, B3, B4。在深度優(yōu)先策略中，蜘蛛一直爬到這個鏈接的盡頭，在返回到起點，爬向另一條鏈接。
廣度優(yōu)先是指蜘蛛在一個頁面上發(fā)現(xiàn)多個鏈接時，不是順著一個鏈接一直向前，而是把頁面上所有第一層鏈接都爬一遍，然后再沿著第二層頁面上發(fā)現(xiàn)的鏈接爬向第三層頁面。
如圖2所示，蜘蛛從A頁面順著鏈接爬行到Al，Bl, C1頁面，直到A頁面上的所 有鏈接都爬行完，然后再從A1頁面發(fā)現(xiàn)的下一層鏈接，爬行到A2, A3, A4,……頁面。 |
