如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 185.111.124.90 | ? | AT |
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然，實際情況需站長判斷後再作決定。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 LinkResearchTools bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: LinkResearchTools bot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
URLinspectorBot是一個網路爬蟲，為URLinspector和LinkResearchTools的網頁和超連結資料庫提供動力。
這個機器人通過抓取網路，將我們的資料庫中有關使用者網站和新連結的資料填滿，並檢查以前發現的連結的狀態，以便為我們的使用者提供最全面和準確的資料。
URLinspectorBot從網上收集的連結和頁面狀態資料被我們軟體的成千上萬的使用者用來改進他們的網站。
它是一個工具，你也可以用來監測你的網站的健康狀況，目前是免費的。
URLinspectorBot正在抓取您的網站，分析連結並將它們新增到我們的資料庫。它將定期重新抓取您的網站，檢查以前發現的連結的當前狀態。
URLinspectorBot不會在您的網站上觸發廣告（如果有的話），也不會為您的Google Analytics流量增加數字。
是的。絕對的。
URLinspectorBot嚴格遵循 robots.txt，包括禁止和允許規則。
我們使用原始的谷歌 robots.txt 庫來解析 robots.txt 檔案。它與Googlebot用來解析robots.txt檔案的庫相同。
URLinspectorBot嚴格遵循您網站上的robots.txt檔案。因此，如果你需要，你可以在你的網站上完全控制它。
如果由於某種原因，您想阻止 URLinspectorBot 訪問您的網站，請將以下兩行放入您伺服器上的 robots.txt 檔案。
User-agent: URLinspectorBot Disallow: /
請注意，URLinspectorBot 可能需要一些時間來選擇您的 robots.txt 檔案中的更改。這將在每次預定抓取之前進行。
還請注意，如果您的 robots.txt 包含錯誤，URLinspectorBot 將無法識別您的命令，它將繼續按照以前的方式抓取您的網站。另外，缺少或空的 robots.txt 檔案也不會阻止 URLinspectorBot 抓取您的網站。
您可以閱讀更多關於 robots.txt 和 Robots 排除標準的資訊：
如果您認為 URLinspectorBot 在您的網站上有某種程度的不當行為，或者您對它有任何疑問，請毫不猶豫地聯絡URLinspectorBot的支援團隊 feedback@urlinspector.com.
