九枝蘭：很多人經(jīng)常混淆“抓取”和“索引”這兩個概念，你能否解釋一下，以及頁面在什么情況下應(yīng)該追求索引，什么時候應(yīng)該追求收錄？

 

昝輝：頁面不要被抓取一般在這種情況下使用：對于一個特定的網(wǎng)站，搜索引擎抓取網(wǎng)站的時長基本是固定的，所以我們應(yīng)該把抓取時間用在核心頁面上。對于一些大網(wǎng)站，這一點尤其重要，由于網(wǎng)站太大，如果把抓取時間都放在一些過濾頁面上，很容易一組合就幾百萬幾千萬個頁面了，搜索引擎沒有機(jī)會也沒有時間再去訪問你想要被訪問的頁面。所以有的時候，你可能希望搜索引擎不要抓某些頁面。那么，那些你不想讓抓的頁面的鏈接盡量不要在網(wǎng)站上出現(xiàn)。你可以用Java去隱藏，或者加nofollow，或者用robots文件禁止搜索引擎去抓這些文件。

 

另外一種情況是，你可以讓搜索引擎抓，但是不想讓搜索引擎索引，“索引”也就是把這個頁面的信息放在它的數(shù)據(jù)庫當(dāng)中。有的時候，這兩個，不讓抓取和不讓索引是相反的過程，比如說剛才講的上面提到的過濾頁面。有的時候，其實如果你的網(wǎng)站沒有那么大，你的抓取時間還沒有達(dá)到搜索引擎分配給你的上限，那可以讓這些頁面抓取，但是你不想被收錄，因為這些頁面往往都是重復(fù)內(nèi)容，因為它無非就是換個搜索條件，換個篩選條件，重排了一遍，產(chǎn)品還是一樣，所以經(jīng)常是大量的重復(fù)內(nèi)容。如果這種重復(fù)頁面多了的話，搜索引擎有可能認(rèn)為這個網(wǎng)站是不是有什么問題，或者總體質(zhì)量不太高。那么你可以讓搜索引擎不去索引這些頁面。你要用頁面頭上的no index標(biāo)簽，放上no index以后，這些頁面就不會被放到索引庫里。所以在搜索這些頁面的時候，是沒有結(jié)果的。但這些頁面其實是被抓取過的，因為如果沒有被抓取的，搜進(jìn)去根本看不見no index這個標(biāo)簽，但是你不想讓它被收錄。所以“抓取”和“索引”是兩種不同的情況，處理的時候也要用不同的方法。你需要根據(jù)網(wǎng)站的具體情況確定使用哪種技術(shù)方法去實現(xiàn)。

 

九枝蘭：當(dāng)網(wǎng)站巨大，頁面數(shù)量特別達(dá)到千萬或上億量級，就會出現(xiàn)這樣的情況：有一些頁面非常難被收錄。針對這一塊，有沒有好的解決方案？

 

昝輝：有時候這種情況不可避免，但是我們可以去盡量想辦法。

 

第一， 提高網(wǎng)站整體的權(quán)重。整體權(quán)重的提高，就會使搜索引擎分配給你的抓取時間也提高，然后整個網(wǎng)站能被帶動，也就使所能允許被索引的頁面總數(shù)也能提高。權(quán)重很低的網(wǎng)站，它可能就給你三個頁面，你只能收錄那么多，然后抓取時間也很少。但是像新浪啊，阿里巴巴那種級別的，域名又老，權(quán)重又高，給它的時間也長，能抓取的機(jī)會，能收錄的數(shù)量也會相應(yīng)地提高。這是一方面，提高域名的總體權(quán)重。

 

另一方面，提高整個網(wǎng)站內(nèi)容的平均質(zhì)量。也就是說盡量讓原創(chuàng)內(nèi)容更多一點，更新的速度更快一點，使搜索引擎覺得你這個網(wǎng)站內(nèi)容都是原創(chuàng)的，這樣它能夠更快地收錄你的網(wǎng)站，也能夠消除一些像剛才講的不利于SEO的重復(fù)內(nèi)容。

 

第三個方面，就是剛才講的，SEO工作過程里面的第二步：網(wǎng)站架構(gòu)的設(shè)計。大的網(wǎng)站，頁面多，就必然要想很多方法，怎么能夠使搜索引擎蜘蛛從首頁出發(fā)，能夠盡快達(dá)到所有的頁面。比如說不要超過4次到5次點擊距離，如果是大一點的網(wǎng)站，可能6到7次點擊距離。但對于大網(wǎng)站，頁面特別多，往往是無論你怎么安排鏈接，怎么安排導(dǎo)航結(jié)構(gòu)，都很難使所有的頁面都在4次點擊距離內(nèi)。通過網(wǎng)站頁面之間互相的內(nèi)鏈，內(nèi)鏈的安排，相關(guān)欄目相關(guān)產(chǎn)品內(nèi)鏈的安排，去使搜索引擎蜘蛛從那些已經(jīng)被收錄的頁面或者欄目，找到一個通路，到達(dá)那些沒有被收錄的頁面。基本上，這些方法能夠盡量使網(wǎng)站被收錄和被抓取的頁面能夠越多越好。