客服熱線
137-0140-2702
Q1:Robots文件已經更新一個多月了,但為何所禁止的文件仍在被抓取呢?
A1:(1)開發者需要在百度搜索資源平臺使用Robots工具進行更新, 并及時關注文件生效時間, 若3三天后還未生效, 建議提供具體問題截圖和具體的URL在反饋中心反饋, 以便排查問題。
(2)自查Robots文件是否書寫錯誤,Robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行進行分隔,若Robots文件書寫錯誤了,則會導致所禁止的文件仍能被抓取。
Q2:網站誤封了Robots怎么辦?
A2:(1)開發者應修改Robots封禁為允許,然后到百度搜索資源平臺檢測并更新Robots;
(2)在百度搜索資源平臺使用抓取檢測工具進行檢查,若顯示抓取失敗,可以多點擊抓取幾次,觸發蜘蛛抓取站點;
(3)在百度搜索資源平臺通過抓取頻次工具,申請上調抓取頻次;
(4)在百度搜索資源平臺反饋中心進行反饋;
(5)通過百度搜索資源平臺主動提交資源,加快百度的抓取速度。