我們知道搜索引擎蜘蛛在爬行和抓取網(wǎng)頁的時候進(jìn)行了提取文字信息，分詞，去噪，去重，最后便得到了一個關(guān)于頁面主題的關(guān)鍵詞集合，接下來搜索引擎會對這個集合進(jìn)行正向索引，即把每個頁面中的多個關(guān)鍵詞和頁面建立對應(yīng)關(guān)系，并且同時會對這些關(guān)鍵詞記錄它們的密度，頻率，表現(xiàn)格式等權(quán)重信息，表現(xiàn)格式主要是分析這些關(guān)鍵詞是否使用了H1標(biāo)簽，是否使用了粗體或顏色變化，是否出現(xiàn)在了頁面的title，description，keywords標(biāo)簽等權(quán)重標(biāo)簽。

　　當(dāng)這個正向索引關(guān)鍵詞集合建立起來以后，依然不能用來進(jìn)行排名計算，如果用戶在搜索引擎中輸入關(guān)鍵詞，那么搜索引擎需要在這個集合中先找見關(guān)鍵詞，然后再找出與關(guān)鍵詞對應(yīng)的頁面，最后通過進(jìn)行復(fù)雜的計算程序得出排名，顯然這個運算過程在短時間內(nèi)是難以完成的。為了提高用戶搜索信息能實時返回結(jié)果，搜索引擎會對上面得到的正向索引信息進(jìn)行反向索引，即以關(guān)鍵詞為單位，把跟它對應(yīng)的頁面放入同一個集合中，這樣在用戶搜索關(guān)鍵詞進(jìn)行排序的時候，搜索引擎只要找到匹配的關(guān)鍵詞就能返回包含這個關(guān)鍵詞的頁面集合，當(dāng)搜索引擎預(yù)處理工作進(jìn)行到這里時，大家是不是對它的工作原理已經(jīng)有點明朗了。

　　當(dāng)搜索引擎進(jìn)行反向索引之后，還需要計算大量的相關(guān)信息才能對頁面做出排名，在這個過程中最為關(guān)鍵的就是計算頁面的鏈接關(guān)系，比如有哪些頁面通過鏈接導(dǎo)入這個頁面，這個頁面導(dǎo)出了哪些鏈接，鏈接的錨文本采用了哪些關(guān)鍵詞等等，這個運算量是非常龐大的。關(guān)于計算鏈接關(guān)系，google的PR值就是這種鏈接關(guān)系的一種體現(xiàn)。

　　除了對html文件進(jìn)行索引外，搜索引擎還能對其他形式的文件進(jìn)行索引，比如常見的TXT，PPT，WORD，PDF文件等，雖然現(xiàn)在搜索引擎對圖片，F(xiàn)lash動畫，視頻的索引能力大大增強(qiáng)，但是跟索引html文件能力比起來，還是有一段距離的，所以大家在網(wǎng)站中放置一些圖片，動畫或者視頻的時候，最好配上文字說明，為搜索引擎蜘蛛做出引導(dǎo)，減輕它的工作壓力。