首先是蜘蛛來到網(wǎng)站:大家都知道,搜索引擎來到一個(gè)網(wǎng)站靠的是外部鏈接,如果你沒有和其它網(wǎng)站有外部鏈接,那么蜘蛛就不能順著這些網(wǎng)狀結(jié)構(gòu)的鏈接爬行到你的網(wǎng)站,就無從談起抓取收錄,也就不會(huì)有排名,因?yàn)槟愕木W(wǎng)站在搜索引擎的大門外。當(dāng)蜘蛛來到你的網(wǎng)站首頁時(shí)(一般的外部鏈接都是鏈到首頁),最好讓他沿著首頁繼續(xù)爬行更加深的內(nèi)容和產(chǎn)品頁,這樣才能最大化的進(jìn)行收錄,因此網(wǎng)站需要不錯(cuò)的外部鏈接來引誘蜘蛛,同時(shí)網(wǎng)站內(nèi)部需要良好的網(wǎng)站結(jié)構(gòu),盡量達(dá)到扁平化或者樹狀結(jié)構(gòu)。讓蜘蛛不但能來到你的網(wǎng)站,也能順著這些合理的結(jié)構(gòu)進(jìn)行爬行。一般情況下,網(wǎng)頁之間最好用文字鏈接,不建議使用JS、Flash或者圖片,現(xiàn)在搜索引擎還無法完全理解這些腳本里邊包含的內(nèi)容是什么。另外,我們可以制作網(wǎng)站地圖,把所有重要的頁面都以鏈接的方式顯示出來,這樣蜘蛛就能順著網(wǎng)站地圖順利的爬行你的網(wǎng)站。最后和大家說的是,最好所有的頁面能在三四次點(diǎn)擊內(nèi)達(dá)到,如果點(diǎn)擊次數(shù)太多的話,收錄很困難。
接著是蜘蛛抓取網(wǎng)站:在收錄和抓取上,建議大家盡量使用靜態(tài)頁面。雖然現(xiàn)在蜘蛛已經(jīng)完全能讀懂動(dòng)態(tài)頁面的意思,并且也能很順利的進(jìn)行爬行和抓取,但是通過研究我們可以發(fā)現(xiàn),往往的靜態(tài)頁面排名要優(yōu)先于動(dòng)態(tài)頁面。在外部條件相同的情況下,一般靜態(tài)網(wǎng)頁的權(quán)重稍微高于動(dòng)態(tài)。有時(shí)候動(dòng)態(tài)網(wǎng)頁由于設(shè)計(jì)的問題容易讓蜘蛛進(jìn)入無限循環(huán),所以搜索引擎會(huì)遠(yuǎn)離這類URL。另外有些企業(yè)網(wǎng)站是全Flash設(shè)計(jì)的,在讀取上非常困難,一般不太容易實(shí)現(xiàn)收錄。另外就是避免框架結(jié)構(gòu),剛開始出現(xiàn)網(wǎng)頁設(shè)計(jì)時(shí),框架曾經(jīng)很流行,現(xiàn)在還有很多網(wǎng)站在采用框架結(jié)構(gòu),但這個(gè)是讓搜索引擎很頭痛的東西。搜索引擎基本不對框架里邊的東西進(jìn)行抓取。除了框架之外,還有的就是音頻文件,圖片,廣告代碼,彈窗等都不利于蜘蛛爬行。蜘蛛喜歡文字性的內(nèi)容。因此我們有了足夠的外部鏈接來引誘蜘蛛時(shí),要注意的就是合理的使用網(wǎng)頁設(shè)計(jì)的元素,這樣才能讓搜索引擎順利抓取你的網(wǎng)頁和內(nèi)容。
最后是被搜索引擎提煉:我們的網(wǎng)頁中包含圖片,包含文字,同時(shí)也包含很多其它文件,搜索引擎并不會(huì)抓取不相關(guān)的文件,只會(huì)抓取文字內(nèi)容。所以Html代碼需要進(jìn)行優(yōu)化才能讓搜索引擎以最快的速度提煉出最重要的信息?傮w要符合以下六個(gè)原則,一是格式標(biāo)簽占的比例越低越好,文字內(nèi)容占的越多越好;二是把css、js等文件放在外部,需要時(shí)進(jìn)行調(diào)用;三是把關(guān)鍵詞放在合理的標(biāo)簽中,比如標(biāo)題常常放在H1標(biāo)簽中。四是檢查網(wǎng)頁的兼容性,使用不同的瀏覽器進(jìn)行測試;五是盡量符合W3C標(biāo)準(zhǔn),雖然這個(gè)不容易,但是盡量把代碼標(biāo)準(zhǔn)化;六是只有蜘蛛順利爬行你的網(wǎng)頁并提取有用的信息,才是比較友好的設(shè)計(jì)。以上六個(gè)原則是進(jìn)行設(shè)計(jì)是必須要注意的,有很多網(wǎng)頁里邊包含了大量的CSS以及JS代碼,就會(huì)影響蜘蛛的爬行,如果重要內(nèi)容在這些內(nèi)容下,那么很可能不會(huì)被搜索引擎爬行到。
我們做網(wǎng)站的時(shí)候需要照顧到用戶體驗(yàn),但是用戶體驗(yàn)并不和友好搜索引擎的代碼相互沖突。如果你的網(wǎng)站一定要使用Flash或者Ajax才能達(dá)到效果,那么也可以用,但盡量少用。很多網(wǎng)站導(dǎo)航喜歡用圖片,其實(shí)純CSS的代碼也能設(shè)計(jì)出漂亮的菜單,同時(shí)也利于搜索引擎抓取。我們在設(shè)計(jì)網(wǎng)頁的時(shí)候,首先要考慮的是如何服務(wù)用戶,但同時(shí)記得不要把搜索引擎的蜘蛛拒之門外就可以了。不必苛求兩者中的任何一個(gè)方面。