
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(3) | 伺服器名稱 | 所屬國家 |
---|---|---|
213.144.233.251 | rt233bb144-213-251.routit.net | NL |
37.0.86.2 | rt86bb0-37-2.routit.net | NL |
64.71.175.150 | s21.dmoz.ixquick.com | US |
213.144.233.249 | rt233bb144-213-249.routit.net | NL |
37.0.86.10 | rt86bb0-37-10.routit.net | NL |
213.144.233.248 | rt233bb144-213-248.routit.net | NL |
37.0.86.14 | rt86bb0-37-14.routit.net | ? |
64.71.175.203 | 64.71.175.203 | US |
37.0.86.54 | rt86bb0-37-54.routit.net | NL |
213.144.235.195 | rt235bb144-213-195.routit.net | NL |
34.243.123.118 | ec2-34-243-123-118.eu-west-1.compute.amazonaws.com | IE |
37.0.81.241 | rt81bb0-37-241.routit.net | NL |
64.71.134.103 | 64.71.134.103 | US |
64.71.134.15 | 64.71.134.15 | US |
37.0.86.46 | rt86bb0-37-46.routit.net | NL |
64.71.175.165 | s6.cobrand.ixquick.com | US |
213.144.235.196 | rt235bb144-213-196.routit.net | NL |
37.0.81.236 | rt81bb0-37-236.routit.net | NL |
213.144.233.254 | rt233bb144-213-254.routit.net | NL |
37.0.86.38 | rt86bb0-37-38.routit.net | NL |
64.71.134.41 | 64.71.134.41 | CA |
37.0.81.234 | rt81bb0-37-234.routit.net | NL |
37.0.81.238 | rt81bb0-37-238.routit.net | NL |
64.71.134.79 | 64.71.134.79 | CA |
35.162.23.156 | ec2-35-162-23-156.us-west-2.compute.amazonaws.com | US |
67.63.61.231 | 67.63.61.231 | US |
67.63.61.241 | 67.63.61.241 | US |
37.0.81.237 | rt81bb0-37-237.routit.net | NL |
IP地址(3) | 伺服器名稱 | 所屬國家 |
---|---|---|
213.144.233.249 | rt233bb144-213-249.routit.net | NL |
37.0.86.10 | rt86bb0-37-10.routit.net | NL |
213.144.233.248 | rt233bb144-213-248.routit.net | NL |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
3.138.173.82 | ec2-3-138-173-82.us-east-2.compute.amazonaws.com | US |
173.209.56.26 | odedi107164.mywhc.ca | CA |
151.236.55.168 | 151-236-55-168.static.as29550.net | GB |
151.236.55.216 | bbb.linguebrescia.it | GB |
103.250.79.92 | 103.250.79.92 | IN |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
151.236.55.168 | 151-236-55-168.static.as29550.net | GB |
151.236.55.216 | bbb.linguebrescia.it | GB |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力,是使用者發現您網站的有效途徑。事實上,攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 startpage bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: startpage bot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Startpage是一家全球性的隱私技術公司,其宗旨是始終將隱私放在第一位。Startpage的一套易於使用的隱私產品幫助世界各地的任何人在網上保護他們的個人資料。
Startpage被稱為隱私搜尋的先驅,負責在2006年建立了世界上第一個和最隱私的搜尋引擎。從那時起,Startpage繼續建立一系列的產品,使每個人都能獲得隱私。
Startpage成立並保持總部在荷蘭,這意味著我們的使用者受到嚴格的歐洲消費者隱私法的保護,包括GDPR。這些被廣泛認為是世界上最強大的隱私保護。在Startpage上進行的每一次搜尋都是通過Startpage專有的個人資料保護技術處理的。作為這項技術的一部分,使用者可以選擇只利用歐洲伺服器。
Startpage由一家荷蘭公司擁有,該公司在荷蘭海牙的總部運營,是System1的一部分,System1是一家位於美國的上市公司。Startpage的全球隱私倡導者團隊由工程師、創作者和支援經理組成。如果你有任何問題,可以通過郵箱進行聯絡support@startpage.com。