您現(xiàn)在的位置:首頁 >> spider >> 列表
spider
  • [頂]我設(shè)置了301跳轉(zhuǎn),多久可以生效? 2014-10-18 點擊:469
  • 目前百度無法承諾301跳轉(zhuǎn)的生效時間,因為站長感受到的生效時間會受多因素影響,比如Baiduspider再次抓取這個頁面發(fā)現(xiàn)其設(shè)置了301的時間、網(wǎng)頁的重要程度以及自身質(zhì)量等。...
  • [頂]移動站內(nèi)容和PC站是一樣的,這樣需不需要屏蔽百度的PC搜索蜘蛛? 2014-03-22 點擊:499
  • 答:由于百度的PC搜索和移動搜索共用同一個spider,都帶有baidu標(biāo)示,不要進行屏蔽。Spider在抓取時會對頁面進行識別,自動判斷是PC頁還是mobile頁,因此建議站長使...
  • [頂]Baiduspider抓取造成的帶寬堵塞 2014-03-22 點擊:411
  • Baiduspider的正常抓取并不會造成您網(wǎng)站的帶寬堵塞,造成此現(xiàn)象可能是由于有人冒充Baiduspider惡意抓取。如果您發(fā)現(xiàn)有名為Baiduspider的agent抓取并且造...
  • [頂]怎么讓我的網(wǎng)站內(nèi)容被百度索引但不被保存快照? 2014-03-22 點擊:410
  • Baiduspider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設(shè)置,使百度顯示只對該網(wǎng)頁建索引,但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。和robots的更新一樣,...
  • [頂]為什么我的網(wǎng)站已經(jīng)加了robots.txt,還能在百度搜索出來? 2014-03-22 點擊:748
  • 因為搜索引擎索引數(shù)據(jù)庫的更新需要時間。雖然Baiduspider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁,但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息,可能需要數(shù)月時間才會清除。另外也請檢查您的...
  • [頂]為什么Baiduspider不停的抓取我的網(wǎng)站? 2014-03-22 點擊:277
  • 對于您網(wǎng)站上新產(chǎn)生的或者持續(xù)更新的頁面,Baiduspider會持續(xù)抓取。此外,您也可以檢查網(wǎng)站訪問日志中Baiduspider的訪問是否正常,以防止有人惡意冒充Baiduspid...
  • [頂]Baiduspider對一個網(wǎng)站服務(wù)器造成的訪問壓力如何? 2014-03-22 點擊:550
  • 為了達到對目標(biāo)資源較好的檢索效果,Baiduspider需要對您的網(wǎng)站保持一定量的抓取。我們盡量不給網(wǎng)站帶來不合理的負擔(dān),并會根據(jù)服務(wù)器承 受能力,網(wǎng)站質(zhì)量,網(wǎng)站更新等綜合因素來進...
  • [頂]百度快照為什么會更新? 2014-03-16 點擊:10751
  • 百度快照為什么會更新?首先,需要澄清一下網(wǎng)頁的抓取頻率和快照的更新頻率是完全不同的兩個概念。每一個被百度收錄的網(wǎng)站,baiduspider都會根據(jù)其網(wǎng)站內(nèi)容更新的頻率不斷的檢查有無...
  • [頂]如何判斷是否冒充Baiduspider的抓? 2014-03-15 點擊:327
  • 描述:220.181.51.* 這個ip段是百度蜘蛛嗎?官方回復(fù):如何判斷是否冒充Baiduspider的抓?在linux平臺下,您可以使用host ip命令反解ip來判斷是否來...
  • [頂]沒做競價網(wǎng)站會被K嗎? 2014-03-15 點擊:245
  • 描述:Baiduspider-sfkr 來過之后,當(dāng)天網(wǎng)站收錄就被K為0了,然后百度蜘蛛還是正常爬取,但就不收錄。請問這是怎么回事,沒有做競價的站,居然來了競價蜘蛛,發(fā)現(xiàn)沒做競價就...