
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(8) | 伺服器名稱 | 所屬國家 |
---|---|---|
51.79.55.27 | 27.ip-51-79-55.net | CA |
2a01:4f8:c17:2b42::1 | 2a01:4f8:c17:2b42::1 | DE |
2a01:4f8:c010:3e89::1 | 2a01:4f8:c010:3e89::1 | DE |
159.69.242.206 | ? | DE |
159.69.189.72 | ? | DE |
23.227.160.39 | 23-227-160-39-customer-hostdoc.co.uk | US |
2a01:4f8:c010:22cb::1 | 2a01:4f8:c010:22cb::1 | DE |
2a01:4f8:c010:1d47::1 | 2a01:4f8:c010:1d47::1 | DE |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
159.69.189.72 | ? | DE |
159.69.242.206 | ? | DE |
IP地址(7) | 伺服器名稱 | 所屬國家 |
---|---|---|
159.69.242.206 | ? | DE |
23.80.151.52 | ? | US |
136.243.73.151 | ? | DE |
136.243.73.180 | ? | DE |
136.243.56.239 | node1.specificfeeds.com | DE |
136.243.56.253 | specificfeeds.com | DE |
IP地址(1) | 伺服器名稱 | 所屬國家 |
---|---|---|
136.243.73.151 | ? | DE |
IP地址(1) | 伺服器名稱 | 所屬國家 |
---|---|---|
136.243.73.151 | ? | DE |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
51.222.31.0 | vps-52d1b900.vps.ovh.ca | FR |
51.222.28.176 | vps-4ebfe831.vps.ovh.ca | FR |
2a01:4f8:c010:3e89::1 | 2a01:4f8:c010:3e89::1 | DE |
51.79.55.27 | 27.ip-51-79-55.net | CA |
2a01:4f8:c17:2b42::1 | 2a01:4f8:c17:2b42::1 | DE |
159.69.189.72 | ? | DE |
88.99.83.199 | ? | DE |
159.69.242.206 | ? | DE |
78.47.165.31 | ? | DE |
23.227.160.39 | 23-227-160-39-customer-hostdoc.co.uk | US |
2a01:4f8:c010:22cb::1 | 2a01:4f8:c010:22cb::1 | DE |
2a01:4f8:c010:1d47::1 | 2a01:4f8:c010:1d47::1 | DE |
23.80.151.52 | ? | US |
136.243.73.151 | ? | DE |
136.243.73.180 | ? | DE |
136.243.56.239 | node1.specificfeeds.com | DE |
136.243.56.253 | specificfeeds.com | DE |
192.111.150.30 | ? | US |
192.111.150.26 | ? | US |
192.111.150.29 | ? | US |
192.111.150.27 | ? | US |
192.111.150.28 | ? | US |
192.254.79.243 | ? | US |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
136.243.56.239 | node1.specificfeeds.com | DE |
136.243.56.253 | specificfeeds.com | DE |
通常不需要。除非您不希望資訊流網站或者APP對您的網站內容進行抓取,網站也不提供Feed訂閱服務,則可以考慮攔截此型別爬蟲。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Specificfeeds 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Specificfeeds Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
follow.it是Feedburner的主要替代品,為出版商獲得更多的追隨者和經常性的流量,併為追隨者提供更好的閱讀體驗。
讀者需要新的、有趣的內容。而出版商想要讀者。然而,今天,讀者經常錯過,因為他們沒有得到相關內容釋出的提醒–而出版商得到的讀者也更少。
常見的提醒工具,如通訊、社交媒體、RSS等,都有很大的缺點–從訂閱者不願意訂閱(害怕垃圾郵件)到即使訂閱了,看到更新的機會也很低。
想象一下,一個完美的工具來關注網站:快速和簡單的關注和取消關注,不擔心垃圾郵件,根據自己的需要定製飼料,廣泛選擇輸出渠道等。- 簡而言之:沒有錯過重要資訊的風險,但沒有資訊過載。
這就是follow.it的意義所在。對讀者有好處的,對出版商也有好處,因為他們會得到更多的追隨者和經常性的讀者。