→ 如有資源無法下載,請第一時間聯系站長QQ:23467321處理!誠信讓我們共贏!
→ 為更好的溝通和解決用戶需求,建議新老用戶都采用QQ郵箱來注冊賬號!
作為一個新站的站長,最為關心的事或許就是自己網站更新的東西,有沒有被百度蜘蛛抓取,這個時候我們會去查看網站每天的日志,在網站日志中會看到有很多ip,有些是百度蜘蛛的,有些則不是,那么我們應該如何去區分能,雖然常見的百度蜘蛛ip多數人都知道,但那些不常見或者說冒充百度蜘蛛的ip我們要如何去辨別呢,這里介紹一種簡單且實用的方法。
1、登錄網站空間后臺,找到當天的網站日志。
2、按住“ctrl+F”搜索“baiduspider"爬行記錄。
3、選中其中一個“baiduspider”對應的ip地址,以這段ip為例123.125.71.81。
4、打開電腦cmd窗口。
5、在CMD窗口中輸入“tracert+ip”回車。tracert后面一定要空格之后在輸入ip地址。
6、查看是否有“baiduspider”字樣,如果有說明是百度的蜘蛛,如果沒有則不是
注意事項:此種方法只適合少量的百度蜘蛛查詢,很精確,但如需大量的查詢建議使用日志分析工具。
判斷網站來防IP是否為蜘蛛,用命令查詢 :
一、在windows平臺
蜘蛛反查命令:nslookup IP
點擊“開始”-“運行”-“cmd”-“輸入nslookup IP地址”-“回車”
C:\>nslookup 203.208.60.203
總結:windows可以用nslookup命令反解ip來判斷是否來自spider的抓取。
在linux平臺下,可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
在windows平臺下,可以用nslookup命令反解ip來判斷是否來自Baiduspider的抓取。
點擊“開始”-“運行”-“cmd”-“輸入nslookup IP地址”-“回車”
C:\Documents and Settings\Administrator>nslookup 123.125.66.120
查詢結果如下:
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120
提示:
1、Baiduspider絕對不會以匿名的方式抓取網頁。
2、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即是冒充。
3、Nslookup(name server lookup)( 域名查詢):是一個用于查詢internet域名信息或診斷DNS服務器問題的工具。
上圖名稱為:220.181.108.105這樣的以名稱中帶有baiduspide,和crawl.baidu.com是屬于百度自己服務器的蜘蛛,除此之外,都屬于假蜘蛛。
發現假蜘蛛就要及時的在服務器上屏蔽這個IP。