看學習搜索優(yōu)化的文章，都會看到蜘蛛這個詞，它不是我們現(xiàn)實中的動物蜘蛛，它是網絡中的一個很形象的專業(yè)名詞，網絡蜘蛛即Web Spider，互聯(lián)網就像一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。蜘蛛實際上是一個以人類無法達到的速度不間斷地執(zhí)行訪問網絡上的網站并抓取網站內容任務的軟件程序。而我們所說的蜘蛛來爬網站，即是網站被搜索引擎收錄的過程。

網絡蜘蛛，是從網站某一個頁面開始，讀取網頁的內容，并找到在網頁中的其它鏈接地址，然后通過這些鏈接地址找下一個網頁，這樣一直循環(huán)下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯(lián)網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯(lián)網上所有的網頁都抓取下來。