用戶體驗(yàn)策略在一定程度上也反映了網(wǎng)頁權(quán)重的影響。在網(wǎng)頁類型相同、歷史更新頻率也差不多的情況下，肯定是權(quán)重越高的頁面被抓取的頻率越高。比如百度首頁、好123首頁、chinaz站長(zhǎng)工具首頁和普通企業(yè)站首頁都可以簡(jiǎn)單歸為網(wǎng)站首頁，并且前三個(gè)“首頁”長(zhǎng)期都不會(huì)有什么更新，普通企業(yè)站首頁可能偶爾還會(huì)有更新，但是前三個(gè)“首頁”的百度快照一般都是更新的，而普通企業(yè)站的首頁快照可能是一周前甚至一個(gè)月前的。這就反映出了網(wǎng)頁權(quán)重在抓取頻率中的作用。

在搜索引擎Spider的實(shí)際作業(yè)中，不會(huì)單獨(dú)使用某一種再次抓取策略，而是會(huì)綜合參考網(wǎng)頁的用戶體驗(yàn)、更新頻率、網(wǎng)頁類型和網(wǎng)頁權(quán)重。并且對(duì)于不同類型的頁面，著重參考的更新內(nèi)容主體也是不同的。比如，列表頁只有一篇新的文章進(jìn)入可能就算更新了；文章頁主體內(nèi)容沒有變，主體內(nèi)容周圍的所有推薦鏈接、廣告、內(nèi)容都變了，可能也不會(huì)算是在更新。

在SEO工作中為了提高網(wǎng)站的抓取頻率，一般會(huì)重點(diǎn)為該頁面的導(dǎo)入鏈接提高權(quán)重，努力加大該頁面的更新頻率。其實(shí)在用戶體驗(yàn)和網(wǎng)頁類型方面也是有工作可做的，用標(biāo)題和描述吸引點(diǎn)擊不僅可以提升排名，也能夠間接增加頁面被Spider抓取的頻率；同時(shí)對(duì)于不同定位的關(guān)鍵詞可以使用不同的網(wǎng)頁類型（列表頁、專題頁、內(nèi)容頁等），這在設(shè)計(jì)頁面內(nèi)容和網(wǎng)站架構(gòu)時(shí)就應(yīng)該仔細(xì)地考慮，并且網(wǎng)頁類型這部分有很多工作值得做。比如，有不少網(wǎng)站把整站都做成了列表頁，全站沒有普通意義上的內(nèi)容頁，內(nèi)容頁主體內(nèi)容下方或周圍也有大量和主題相關(guān)的文本內(nèi)容，一般是類列表形式。不過這種手法有效時(shí)間不長(zhǎng)，或者損害用戶體驗(yàn)后會(huì)降低被抓取的頻率。不論怎樣，優(yōu)秀的網(wǎng)站架構(gòu)設(shè)計(jì)應(yīng)該合理地利用Spider抓取策略的各種特性。

以上討論的是Spider正常的抓取策略。有抓取并不代表一定有更新，當(dāng)頁面內(nèi)容的變化值得搜索引擎更新索引時(shí)才會(huì)更新，比如，上面提到的文章頁主體內(nèi)容不變但是推薦鏈接全變了，一般搜索引擎也不會(huì)浪費(fèi)資源做無意義的更新。當(dāng)Spider發(fā)現(xiàn)已經(jīng)索引的頁面突然被刪除，也就是服務(wù)器突然返回404狀態(tài)碼時(shí)，也會(huì)在短時(shí)間內(nèi)增加對(duì)該頁面的抓取頻率。有的SEO人員就利用這一點(diǎn)增加Spider對(duì)自己網(wǎng)站的抓取，并做一些其他的“手腳”，不過這是一個(gè)走鋼絲的小聰明行為，不見得長(zhǎng)期有效，不值得冒險(xiǎn)使用。

另外，又不少門戶網(wǎng)站習(xí)慣對(duì)即時(shí)新聞先發(fā)布一個(gè)標(biāo)題，然后再讓編輯補(bǔ)充內(nèi)容，甚至還會(huì)修改標(biāo)題。但是這種網(wǎng)頁一般都是文章頁，不論從用戶體驗(yàn)、更新頻率、網(wǎng)頁類型和網(wǎng)站權(quán)重哪方面來看都不會(huì)得到比較高的抓取頻率，也就造成這些網(wǎng)站不斷在抱怨百度不更新如此操作的新聞網(wǎng)頁。百度搜索官方已經(jīng)表示希望以后通過百度站長(zhǎng)平臺(tái)來解決一下這個(gè)問題，但是作為SEO人員不能只是指望搜索引擎官方做出什么樣的動(dòng)作。仔細(xì)研究Spider的抓取和更新策略，雖然或許不能將問題解決得那么完美，但是一般都會(huì)找到比較適合自己的方法。當(dāng)然更終還是期望百度官方盡快推出相應(yīng)的機(jī)制或工具來解決這個(gè)問題。