
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(253) | 伺服器名稱 | 所屬國家 |
---|---|---|
117.50.199.114 | smdxwoj.cn | CN |
117.50.163.56 | ptlei8.cn | CN |
117.50.47.80 | 117.50.47.80 | CN |
117.50.47.202 | 117.50.47.202 | CN |
117.50.46.78 | 117.50.46.78 | CN |
117.50.216.34 | 117.50.216.34 | CN |
117.50.196.231 | jlabrbr.cn | CN |
117.50.215.82 | 117.50.215.82 | CN |
117.50.205.221 | 117.50.205.221 | CN |
117.50.214.251 | 117.50.214.251 | CN |
117.50.214.250 | 117.50.214.250 | CN |
117.50.216.21 | 117.50.216.21 | CN |
117.50.215.97 | 117.50.215.97 | CN |
117.50.46.8 | 117.50.46.8 | CN |
117.50.214.222 | 117.50.214.222 | CN |
117.50.214.46 | 117.50.214.46 | CN |
117.50.215.125 | 117.50.215.125 | ? |
117.50.199.115 | dyrheny.cn | CN |
117.50.47.164 | 117.50.47.164 | CN |
117.50.214.233 | 117.50.214.233 | CN |
117.50.214.165 | 117.50.214.165 | ? |
117.50.214.201 | 117.50.214.201 | CN |
117.50.216.83 | 117.50.216.83 | CN |
117.50.215.153 | 117.50.215.153 | CN |
117.50.47.201 | 117.50.47.201 | CN |
117.50.215.104 | 117.50.215.104 | CN |
117.50.214.158 | 117.50.214.158 | CN |
117.50.199.101 | qvgulkm.cn | CN |
117.50.47.145 | 117.50.47.145 | CN |
117.50.205.29 | 117.50.205.29 | ? |
117.50.215.209 | 117.50.215.209 | CN |
117.50.215.87 | 117.50.215.87 | CN |
117.50.215.62 | 117.50.215.62 | ? |
117.50.215.206 | 117.50.215.206 | ? |
117.50.215.142 | 117.50.215.142 | CN |
117.50.46.15 | uxsxsas.cn | CN |
117.50.215.193 | 117.50.215.193 | CN |
117.50.46.25 | pxoopnh.cn | CN |
117.50.171.245 | 117.50.171.245 | CN |
117.50.214.193 | 117.50.214.193 | ? |
117.50.46.3 | 117.50.46.3 | CN |
117.50.214.172 | 117.50.214.172 | ? |
117.50.214.157 | 117.50.214.157 | CN |
117.50.205.132 | 117.50.205.132 | CN |
117.50.215.8 | 117.50.215.8 | ? |
117.50.47.217 | 117.50.47.217 | CN |
可能不需要。AI助手直接代表人類使用者訪問網站,因此攔截它們將有效地阻止這些使用者。這會導致糟糕的使用者體驗,並可能對您的網站產生負面影響。不攔截AI助手將允許更多人類使用者隨意使用您的網站。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 ChatGLM Spider 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: ChatGLM Spider Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。