編者按:前兩周簡要地給大家介紹了搜索抓取系統工作原理,根據該工作原理今天簡要介紹一下如何建立網站是符合搜索引擎抓取系統習慣的。
1、簡單明了的網站結構
Spider抓取相當于對web這個有向圖進行遍歷,那么一個簡單明了結構層次分明的網站肯定是它所喜歡的,并盡量保證spider的可讀性。
(1)樹型結構最優的結構即“首頁—頻道—詳情頁”;
。2)扁平首頁到詳情頁的層次盡量少,既對抓取友好又可以很好的傳遞權重。
。3)網狀保證每個頁面都至少有一個文本鏈接指向,可以使網站盡可能全面的被抓取收錄,內鏈建設同樣對排序能夠產生積極作用。
。4)導航為每個頁面加一個導航方便用戶知曉所在路徑。
。5)子域與目錄的選擇相信有大批的站長對此有疑問,在我們看來,當內容較少并且內容相關度較高時建議以目錄形式來實現,有利于權重的繼承與收斂;當內容量較多并且與主站相關度略差時建議再以子域的形式來實現。