
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(7) | 伺服器名稱 | 所屬國家 |
---|---|---|
52.91.156.12 | ec2-52-91-156-12.compute-1.amazonaws.com | US |
3.81.138.65 | ec2-3-81-138-65.compute-1.amazonaws.com | US |
3.90.131.142 | ec2-3-90-131-142.compute-1.amazonaws.com | US |
35.175.119.37 | ec2-35-175-119-37.compute-1.amazonaws.com | US |
3.230.154.187 | ec2-3-230-154-187.compute-1.amazonaws.com | US |
34.236.134.35 | ec2-34-236-134-35.compute-1.amazonaws.com | US |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 PlurkBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: PlurkBot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
一個很時髦的網站,它可以讓您收藏構成您美好生活的每一部分,就像一份份易於消化的美食,低脂、每份 5 卡路里、但美味妙不可言!
按時間順序將您生活中的每一件樂事記錄下來,充滿令人激動的情節,如故事書般令人著迷。
當然! Plurk 是每個人的!我們讓部落格不必為花費時間、操作繁瑣及必須深思熟慮而煩惱。
Plurk 是個將您所做的事、您的感想及構成您生活的每一個事件按時間順序記錄下來並與您親近的人分享的簡單方式。輕輕鬆鬆您就能獲得滿意、自我放任、成名、做個真實的您的感覺。分享您的生活、享受您的人生,請您 Plurk!