在很多朋友的眼里,自己的網(wǎng)站被搜索引擎爬取,就意味者收錄與排名馬上就會出現(xiàn)。確實是這樣,特別是一些新站,在自己的網(wǎng)站制作完成后,提交給搜索引擎之后,如果網(wǎng)站的核心資源被搜索引擎爬取的話,往往說明自己的網(wǎng)站起碼是搜索引擎感興趣的。那么我們就要提高自己被搜索引擎爬取的幾率了。
引導(dǎo)爬蟲抓取網(wǎng)站核心資源
為什么網(wǎng)站的核心資源要讓搜索引擎爬取呢?因為核心資源往往意味這是自己網(wǎng)站的重點(diǎn),而搜索引擎也只有了解到你的這個站主要是做什么的,才能接下來的排名。我們之前說到,網(wǎng)站如果采取站點(diǎn)扁平結(jié)構(gòu),往往有利于搜索引擎對整個網(wǎng)站的爬取。不過對于大型網(wǎng)站來說,這一點(diǎn)實施起來會比較難,不過我們可以重點(diǎn)來優(yōu)化面包屑導(dǎo)航。還有就是自己的 sitemap每天要全量更新,補(bǔ)充到搜索引擎蜘蛛的spider URL庫。還有就是頁面部分推薦模塊異步改同步加載,核心資源URL部署到權(quán)重高的頁面。為了能讓蜘蛛爬蟲抓取核心的網(wǎng)站資源,在網(wǎng)站建設(shè)的時候,我們要減少那些無效URL的抓取我們可以使用robotst.txt禁止無效URL被抓取及被索引,通過noindex meta標(biāo)簽禁止URL被索引 (百度暫不支持noindex)等等,這樣的目的是為了突出網(wǎng)站的重點(diǎn),不要讓這些非有效的資源沖淡了自己網(wǎng)站的主體而造成相關(guān)頁面的權(quán)重下降。
提升網(wǎng)站抓取量
接下來,我就要著手提高自己網(wǎng)站抓取的頁面的數(shù)量了,我們要注意檢查自己的網(wǎng)站的程序,避免搜索引擎官方爬蟲被安全軟件或者程序的攔截,造成爬蟲沒有辦法爬取訪問;我們還可以逐步上調(diào)站長平臺抓取壓力;及時更新死鏈sitemap;我們進(jìn)行網(wǎng)站制作的時候,就要有讓這個新的頁面被搜索引擎爬取收錄的目的。
網(wǎng)站建設(shè)的時候,我們就要制定這些利于搜索引擎爬取收錄的方案與目標(biāo)。這樣后續(xù)的推廣才更有成效。
本文由上海藝覺網(wǎng)絡(luò)科技有限公司(http://www.songxinqiang.cn)原創(chuàng)編輯轉(zhuǎn)載請注明。