近期收到一些開發者反饋，為什么網站或智能小程序資源的內容非常優質，但是沒有查詢到百度蜘蛛抓取記錄，或在百度搜索中沒有得到收錄和展現?

　　在技術分析后發現，有些網站或智能小程序存在封禁百度蜘蛛的情況，導致百度蜘蛛無法正常抓取，所以無法在百度搜索中正常收錄和展現，或在搜索結果中的摘要展現為“存在robots封禁”字樣。

　　為了讓廣大開發者的網站或小程序，在百度搜索中得到正常的收錄和展現，建議開發者及時根據以下內容自查，解除封禁問題，并通過鏈接提交工具主動提交給我們。

　　常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。

　　如何驗證網站和智能小程序是否存在封禁百度蜘蛛的情況?

　　1、首先， 查看robots.txt文件，是否存在封禁記錄。(一般robots.txt文件放置在網站根目錄下。)

　　【建議方案】解除robots封禁：robots封禁情況，請檢查robots.txt文件，及時修改。

　　robots文件說明：https://ziyuan.baidu.com/college/articleinfo?id=1516

　　2、robots文件無異常，進一步排查是否存在封禁百度UA情況;

　　方案一：執行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

　　注：正常返回碼是200，其他情況為異常。

　　xxxxxxx為網站域名,如：http://abc.com.cn。

　　正確識別和獲取百度蜘蛛，https://ziyuan.baidu.com/college/articleinfo?id=2855

　　方案二：變更瀏覽器UA驗證;

　　【建議方案】解除百度UA封禁：查看網站反爬蟲策略，進行策略調整。或針對百度UA添加策略白名單。

　　3、以上驗證均無異常，最后進一步排查是否存在IP級別的封禁;

　　常見的IP封禁，源自網站的防火墻系統配置，需要查看防火墻配置系統后臺，檢查是否存在百度蜘蛛的IP級別封禁措施。

　　【建議方案】解除百度IP封禁：查看網站反爬蟲策略，進行策略調整。