
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(7) | 伺服器名稱 | 所屬國家 |
---|---|---|
2a01:4f8:c0c:4192::2 | 2a01:4f8:c0c:4192::2 | DE |
94.130.175.168 | ? | DE |
2a01:4f8:c17:2f67::2 | 2a01:4f8:c17:2f67::2 | DE |
88.198.114.16 | static.88-198-114-16.clients.your-server.de | DE |
144.76.113.146 | mail.consumeradviseconcept.com | DE |
148.251.234.39 | static.39.234.251.148.clients.your-server.de | DE |
2a01:4f8:192:6391::2 | 2a01:4f8:192:6391::2 | DE |
IP地址(13) | 伺服器名稱 | 所屬國家 |
---|---|---|
2a01:4f8:1c0c:5a18::1 | 2a01:4f8:1c0c:5a18::1 | DE |
116.203.198.198 | ? | DE |
2a01:4f8:1c0c:78bb::1 | 2a01:4f8:1c0c:78bb::1 | DE |
2a01:4f8:1c0c:59f3::1 | 2a01:4f8:1c0c:59f3::1 | DE |
2a01:4f8:1c0c:7bef::1 | 2a01:4f8:1c0c:7bef::1 | DE |
116.203.89.95 | ? | DE |
2a01:4f8:c2c:bfec::1 | 2a01:4f8:c2c:bfec::1 | DE |
2a01:4f8:c2c:ae8f::1 | 2a01:4f8:c2c:ae8f::1 | DE |
116.203.217.227 | ? | DE |
116.203.199.189 | ? | DE |
2a01:4f8:1c0c:7247::1 | 2a01:4f8:1c0c:7247::1 | DE |
116.203.197.64 | jscrawler04.servers.seobility.net | DE |
2a01:4f8:c0c:537d::2 | 2a01:4f8:c0c:537d::2 | DE |
2a01:4f8:c0c:4245::2 | 2a01:4f8:c0c:4245::2 | DE |
195.201.88.1 | ? | DE |
159.69.24.73 | ? | DE |
94.130.171.249 | ? | DE |
2a01:4f8:c0c:4244::2 | 2a01:4f8:c0c:4244::2 | DE |
2a01:4f8:c17:2f67::2 | 2a01:4f8:c17:2f67::2 | DE |
2a01:4f8:c0c:3f7b::2 | 2a01:4f8:c0c:3f7b::2 | DE |
2a01:4f8:c0c:3f7c::2 | 2a01:4f8:c0c:3f7c::2 | DE |
2a01:4f8:c0c:3f7d::2 | 2a01:4f8:c0c:3f7d::2 | DE |
2a01:4f8:1c0c:59cd::1 | 2a01:4f8:1c0c:59cd::1 | DE |
2a01:4f8:1c0c:7b30::1 | 2a01:4f8:1c0c:7b30::1 | DE |
2a01:4f8:1c0c:6f44::1 | 2a01:4f8:1c0c:6f44::1 | DE |
2a01:4f8:1c0c:6f4a::1 | 2a01:4f8:1c0c:6f4a::1 | DE |
2a01:4f8:1c0c:7180::1 | 2a01:4f8:1c0c:7180::1 | DE |
2a01:4f8:1c0c:70b9::1 | 2a01:4f8:1c0c:70b9::1 | DE |
2a01:4f8:1c0c:59ed::1 | 2a01:4f8:1c0c:59ed::1 | DE |
2a01:4f8:1c1c:e6c5::1 | 2a01:4f8:1c1c:e6c5::1 | DE |
2a01:4f8:1c1c:f011::1 | 2a01:4f8:1c1c:f011::1 | DE |
2a01:4f8:1c0c:6794::1 | 2a01:4f8:1c0c:6794::1 | DE |
162.55.182.254 | jscrawler02.servers.seobility.net | DE |
2a01:4f8:1c0c:7bf8::1 | 2a01:4f8:1c0c:7bf8::1 | DE |
2a01:4f8:1c0c:760a::1 | 2a01:4f8:1c0c:760a::1 | DE |
2a01:4f8:1c0c:5fcf::1 | 2a01:4f8:1c0c:5fcf::1 | DE |
2a01:4f8:c2c:d8a::1 | 2a01:4f8:c2c:d8a::1 | DE |
5.75.140.172 | worker10.servers.seobility.net | DE |
2a01:4f8:c2c:9ffa::1 | 2a01:4f8:c2c:9ffa::1 | DE |
2a01:4f8:c2c:3183::1 | 2a01:4f8:c2c:3183::1 | DE |
2a01:4f8:1c1e:bfe1::1 | 2a01:4f8:1c1e:bfe1::1 | DE |
2a01:4f8:c0c:522c::1 | 2a01:4f8:c0c:522c::1 | DE |
2a01:4f8:c2c:d922::1 | 2a01:4f8:c2c:d922::1 | DE |
2a01:4f8:1c1e:a06c::1 | 2a01:4f8:1c1e:a06c::1 | DE |
2a01:4f8:1c1e:6e72::1 | 2a01:4f8:1c1e:6e72::1 | DE |
2a01:4f8:1c1b:6a5d::1 | 2a01:4f8:1c1b:6a5d::1 | DE |
2a01:4f8:1c1b:a6a4::1 | 2a01:4f8:1c1b:a6a4::1 | DE |
2a01:4f8:1c1c:c55::1 | 2a01:4f8:1c1c:c55::1 | DE |
IP地址(13) | 伺服器名稱 | 所屬國家 |
---|---|---|
2a01:4f8:c0c:537d::2 | 2a01:4f8:c0c:537d::2 | DE |
2a01:4f8:c0c:4245::2 | 2a01:4f8:c0c:4245::2 | DE |
195.201.88.1 | ? | DE |
159.69.24.73 | ? | DE |
94.130.171.249 | ? | DE |
2a01:4f8:c0c:4244::2 | 2a01:4f8:c0c:4244::2 | DE |
2a01:4f8:c17:2f67::2 | 2a01:4f8:c17:2f67::2 | DE |
2a01:4f8:c0c:3f7b::2 | 2a01:4f8:c0c:3f7b::2 | DE |
2a01:4f8:c0c:3f7c::2 | 2a01:4f8:c0c:3f7c::2 | DE |
2a01:4f8:c0c:3f7d::2 | 2a01:4f8:c0c:3f7d::2 | DE |
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
144.76.113.146 | mail.consumeradviseconcept.com | DE |
148.251.234.39 | static.39.234.251.148.clients.your-server.de | DE |
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然,實際情況需站長判斷後再作決定。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Seobility 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Seobility Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Seobility Bot爬行網站以收集SEO資訊。
為了阻止來自Seobility Bot的請求,請在您的Robots.txt中新增以下一行。
User-agent: Seobility Disallow: /
如果你發現機器人的行為很不正常,請與官方聯絡。
只要檔案中沒有提供Seobility指令,Seobility Bot將遵循所有*指令。比如說:
User-agent: * Disallow: /secret.html
secret.html將不會被抓取
User-agent: * Disallow: /secret.html User-agent: Seobility Disallow: /login.html
secret.html會被抓取,login.html則不會被抓取。
如果您想只允許Seobility訪問,而拒絕所有其他機器人,那麼您可以使用下面的robots.txt條目。這種技術可以用來測試子域(例如:http://test.example.com/)上的SEO變化,然後再發布這些變化。
User-agent: * Disallow: / User-agent: Seobility Disallow: