
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(19) | 伺服器名稱 | 所屬國家 |
---|---|---|
18.206.251.46 | ec2-18-206-251-46.compute-1.amazonaws.com | US |
54.208.49.105 | ec2-54-208-49-105.compute-1.amazonaws.com | US |
54.236.50.227 | ec2-54-236-50-227.compute-1.amazonaws.com | US |
52.206.175.19 | ec2-52-206-175-19.compute-1.amazonaws.com | US |
3.85.92.130 | ec2-3-85-92-130.compute-1.amazonaws.com | US |
52.55.64.188 | ec2-52-55-64-188.compute-1.amazonaws.com | US |
34.204.9.199 | ec2-34-204-9-199.compute-1.amazonaws.com | US |
35.174.204.191 | ec2-35-174-204-191.compute-1.amazonaws.com | US |
54.209.56.94 | ec2-54-209-56-94.compute-1.amazonaws.com | US |
52.72.217.54 | ec2-52-72-217-54.compute-1.amazonaws.com | US |
3.83.253.3 | ec2-3-83-253-3.compute-1.amazonaws.com | US |
34.198.11.204 | ec2-34-198-11-204.compute-1.amazonaws.com | US |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
52.3.161.153 | ec2-52-3-161-153.compute-1.amazonaws.com | US |
52.55.163.46 | ec2-52-55-163-46.compute-1.amazonaws.com | US |
通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取,網站也不提供Feed訂閱服務,則可以考慮攔截此型別爬蟲。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Feedwind 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Feedwind Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
這裡是Feedwind爬蟲的IP地址列表。如果您的防火牆或其他網路安全措施阻擋或限制我們的爬蟲訪問,您可能需要這些。我們需要這種對feed來源的訪問,以確保您的feed小元件是最新的(根據使用者的計劃,我們每5分鐘至5小時抓取一次)。當FeedWind爬蟲的IP地址被封鎖時,您的小元件將顯示一個錯誤。有兩種可能的情況。
1. 如果您的feed來源在您的控制之下,您可以使用下表和您的防火牆/安全設定,自己進行調整。
2. 如果第三方釋出了您正在使用的feed,並且沒有更新到爬蟲阻止,您需要通知feed源的網站管理員,FeedWind不能抓取該feed。
有時,我們的爬蟲會被誤認為是惡意/盜版機器人(它不是!),所以有時有必要讓我們的IP在源頭解除封鎖。如果您遇到與此相關的問題,請與FeedWind支援部門聯絡,他們將提供協助。
Crawler: FeedWind Crawler
User-Agent: Mozilla/5.0 (compatible; Feedwind/3.0; +https://feed.mikle.com/support/description/)
Feedwind V2 |
52.45.59.240 |
52.44.84.218 |
52.55.52.175 |
34.226.223.83 |
34.200.115.80 |
34.195.120.53 |
34.225.207.227 |
54.209.56.94 |
52.55.29.42 |
52.72.217.54 |
54.208.213.16 |
34.198.11.204 |
52.206.175.19 |
Feedwind V1 |
52.55.201.59 |
23.22.75.8 |
52.55.163.46 |
52.55.190.26 |