
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(2) | 伺服器名稱 | 所屬國家 |
---|---|---|
54.220.14.203 | ec2-54-220-14-203.eu-west-1.compute.amazonaws.com | IE |
IP地址(1) | 伺服器名稱 | 所屬國家 |
---|---|---|
54.78.129.124 | ec2-54-78-129-124.eu-west-1.compute.amazonaws.com | IE |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Shoppimon 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Shoppimon Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Shoppimon是由一個資深的APM團隊建立的,他們瞭解到今天不可能快速和容易地從監測解決方案中獲得洞察力。現有的工具需要大量的設定和持續的人工維護,只是為了產生大量的資料,而這些資料只有那些具有高度技術背景的人才能理解。
但是,每一個參與線上商店成功的人,從營銷到IT,都需要知道和了解電子商務問題的發生,提出的問題包括:”什麼問題?”、”對收入有什麼影響?”以及 “如何才能解決這個問題?”
Shoppimon為這些問題以及更多的問題提供答案,通過自動化使應用監控人性化並與商業智慧相聯絡。
使資料,更重要的是瞭解網上商店健康和效能所需的洞察力,可供每個需要它的團隊成員使用。
通過零設定、整合和維護時間,Shoppimon為自己編碼,以跟蹤購物者在購買過程中的獨特工作流程。通過像一個24/7的祕密購物者一樣的行為,Shoppimon確保所有的電子商務利益相關者瞭解問題出現時,是什麼原因造成的,以及將採取什麼措施來解決它們,以簡單明瞭的英語。