近日有客戶問到,為什么最近更新的商品頁面百度都不收錄,該客戶認(rèn)為是頁面結(jié)構(gòu)出了問題。武榮網(wǎng)絡(luò)SEOer習(xí)慣找依據(jù),于是讓客戶發(fā)來近幾日的網(wǎng)站日志,果不其然,在網(wǎng)站日志里找到了頁面不被百度收錄的原因,更新的商品頁面壓根沒有被百度蜘蛛抓取!連抓取都沒有,何來頁面收錄呢!
武榮網(wǎng)絡(luò)SEOer簡(jiǎn)要的分析網(wǎng)站日志,該站每天百度抓取量有7000多次,但絕大部分,甚至是98%以上的抓取都集中在數(shù)據(jù)庫信息、Css信息、Js信息上,而商品頁面一條抓取記錄都沒有!答案很明顯了,之所以更新的商品頁面沒有被百度收錄,是因?yàn)檫@些頁面沒有被抓取。
武榮網(wǎng)絡(luò)SEOer分享這個(gè)案例的目的是想告訴大家,網(wǎng)站在優(yōu)化過程中若是遇到問題,不要憑空去想原因,應(yīng)該通過必要的數(shù)據(jù)分析科學(xué)的找到問題所在,從而調(diào)整措施。
客戶將該網(wǎng)站做了SEO外包,每次問到為什么頁面不收錄及如何處理時(shí),對(duì)方都回答主動(dòng)提交鏈接!然而鏈接提交了仍然沒有解決問題,這種回答是很不負(fù)責(zé)任的!
百度蜘蛛在某種意義上說有抓取記憶,如果長(zhǎng)時(shí)間大量的抓取某類型的信息,那么它抓取的份額就會(huì)傾向于這類信息。這也能說明一個(gè)問題:為什么有些網(wǎng)站的某些欄目收錄很好,而有些欄目基本不收錄。
在分析完網(wǎng)站日志后,武榮網(wǎng)絡(luò)SEOer又打開了網(wǎng)站的Robots文件,發(fā)現(xiàn)Robots文件里允許了圖片的抓取,同時(shí)又沒有限制對(duì)于Css文件、Js文件的抓取。這種設(shè)置方法是存在問題的,為此,武榮網(wǎng)絡(luò)SEOer依據(jù)分析網(wǎng)站日志得到的信息,重新對(duì)Robots文件進(jìn)行了修改。
總結(jié),影響頁面收錄的因素很多,其中最基本的因素是搜索蜘蛛抓取,倘若沒有抓取,那斷然是不會(huì)被收錄的!若是頁面被蜘蛛成功抓取,但還是沒有被收錄,這就說明頁面的內(nèi)容質(zhì)量不高。所以,如果我們遇到頁面收錄不好的情況,首先應(yīng)該分析網(wǎng)站日志,若是抓取沒問題,再去分析頁面內(nèi)容。