搜索引擎就是一種程序，自動(dòng)從因特網(wǎng)搜集信息，經(jīng)過(guò)一定整理以后，提供給用戶進(jìn)行查詢的系統(tǒng)。搜索引擎可以分為：百度蜘蛛： Baiduspider ， 360蜘蛛：360spider   ，谷歌蜘蛛：geoglebot等。

       搜索引擎的工作原理一般來(lái)說(shuō)可以分為四步來(lái)完成，抓取，過(guò)濾，存取，排序。
      1.抓取，搜索引擎順著網(wǎng)頁(yè)中的超鏈接在互聯(lián)網(wǎng)中發(fā)現(xiàn)，搜索網(wǎng)頁(yè)信息，然后再抓取里面的內(nèi)容。從抓取的方式來(lái)看，可以分為深度抓取和廣度抓取。深度抓取就是搜索引擎沿著網(wǎng)站的內(nèi)部結(jié)構(gòu)進(jìn)行抓取，比如先抓取頁(yè)，再抓取欄目頁(yè)，然后再抓取詳情頁(yè)，就象樹形結(jié)構(gòu)一樣，先到主干，然后到樹枝，再到枝稍。一般結(jié)構(gòu)超過(guò)三層，就不利于搜索引擎抓取了。不利于搜索引擎抓取和內(nèi)容有JS，圖片，視頻，iframe框架，以及層級(jí)多的嵌套。

     2.過(guò)濾，搜索引擎抓取了網(wǎng)頁(yè)上的信息以后，就會(huì)把數(shù)據(jù)存放入臨時(shí)數(shù)據(jù)庫(kù)。然后搜索引擎把一些低質(zhì)量的頁(yè)面，比如采集來(lái)的，沒(méi)有豐富內(nèi)容的，文不對(duì)題的頁(yè)面過(guò)濾掉。把它們當(dāng)作垃圾一樣，處理掉了。
     3.存儲(chǔ)，搜索引擎對(duì)一些高質(zhì)量的，對(duì)用戶有價(jià)值的，符合用戶體驗(yàn)的內(nèi)容就把它們存放在數(shù)據(jù)庫(kù)中。以方便用戶進(jìn)行搜索查詢進(jìn)，隨時(shí)可以調(diào)取。
     4.排序，檢索器根據(jù)用戶輸入的查詢的關(guān)鍵詞在索引庫(kù)中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序。當(dāng)我們看到在搜索引擎看到的只是一種強(qiáng)果，搜索引擎根據(jù)各種算法，把某個(gè)關(guān)鍵詞的展現(xiàn)在頁(yè)的位。

http://www.bangwork.net/youhuazixun/1885.html 如何根據(jù)搜索引擎工作原理來(lái)進(jìn)行網(wǎng)站優(yōu)化