如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件,分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点,及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(30) | 服务器名称 | 所属国家 |
|---|---|---|
| 146.70.59.42 | 146.70.59.42 | PT |
| 95.181.232.37 | 95.181.232.37 | MA |
| 98.159.234.149 | beatus.dreamsinheels.com | US |
| 62.133.47.21 | 62.133.47.21 | KZ |
| 31.171.155.13 | 31.171.155.13 | AL |
| 146.70.52.205 | 146.70.52.205 | RU |
| 94.156.14.19 | 94.156.14.19 | US |
| 146.70.52.120 | 146.70.52.120 | RU |
| 172.83.47.100 | 172.83.47.100 | CA |
| 212.102.49.7 | unn-212-102-49-7.cdn77.com | ES |
| 188.126.94.76 | greensomlt.com | DK |
| 37.19.221.35 | unn-37-19-221-35.datapacket.com | US |
| 188.126.94.169 | 188.126.94.169 | DK |
| 95.181.233.7 | 95.181.233.7 | MC |
| 149.102.232.30 | unn-149-102-232-30.datapacket.com | SK |
| 185.245.84.227 | 185.245.84.227.adsl.inet-telecom.org | DK |
| 91.90.122.21 | 91.90.122.21 | LI |
| 37.46.115.21 | rs.as51430.net | RS |
| IP地址(14) | 服务器名称 | 所属国家 |
|---|---|---|
| 62.133.47.21 | 62.133.47.21 | KZ |
| 31.171.155.13 | 31.171.155.13 | AL |
| 146.70.52.205 | 146.70.52.205 | RU |
| 146.70.52.120 | 146.70.52.120 | RU |
| 172.83.47.100 | 172.83.47.100 | CA |
| 146.70.59.6 | 146.70.59.6 | PT |
| 154.3.40.98 | 154.3.40.98 | CA |
| 176.125.230.14 | 176.125.230.14 | IT |
| 77.81.142.80 | 77.81.142.80 | US |
| 188.126.94.76 | greensomlt.com | DK |
| 188.126.94.169 | 188.126.94.169 | DK |
| 95.181.233.7 | 95.181.233.7 | MC |
| 185.245.84.227 | 185.245.84.227.adsl.inet-telecom.org | DK |
| 91.90.122.21 | 91.90.122.21 | LI |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 62.97.101.197 | 62.97.101.197 | ES |
| IP地址(7) | 服务器名称 | 所属国家 |
|---|---|---|
| 185.253.162.133 | 185.253.162.133 | CY |
| 86.106.74.121 | 86.106.74.121 | HU |
| 91.90.124.12 | 91.90.124.12 | IM |
| 91.149.244.102 | 91.149.244.102 | US |
| 37.19.210.182 | unn-37-19-210-182.datapacket.com | US |
| 185.77.248.7 | 185.77.248.7 | IL |
| 89.238.154.174 | 89.238.154.174 | GB |
| IP地址(2) | 服务器名称 | 所属国家 |
|---|---|---|
| 185.77.248.7 | 185.77.248.7 | IL |
| 89.238.154.174 | 89.238.154.174 | GB |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 185.77.248.7 | 185.77.248.7 | IL |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 146.70.59.42 | 146.70.59.42 | PT |
| 95.181.232.37 | 95.181.232.37 | MA |
| 98.159.234.149 | beatus.dreamsinheels.com | US |
| 62.133.47.21 | 62.133.47.21 | KZ |
| 31.171.155.13 | 31.171.155.13 | AL |
| 146.70.52.205 | 146.70.52.205 | RU |
| 94.156.14.19 | 94.156.14.19 | US |
| 146.70.52.120 | 146.70.52.120 | RU |
| 172.83.47.100 | 172.83.47.100 | CA |
| 212.102.49.7 | unn-212-102-49-7.cdn77.com | ES |
| 89.238.154.174 | 89.238.154.174 | GB |
| 188.126.94.76 | greensomlt.com | DK |
| 37.19.221.35 | unn-37-19-221-35.datapacket.com | US |
| 188.126.94.169 | 188.126.94.169 | DK |
| 95.181.233.7 | 95.181.233.7 | MC |
| 149.102.232.30 | unn-149-102-232-30.datapacket.com | SK |
| 185.245.84.227 | 185.245.84.227.adsl.inet-telecom.org | DK |
| 91.90.122.21 | 91.90.122.21 | LI |
| 37.46.115.21 | rs.as51430.net | RS |
| IP地址(0) | 服务器名称 | 所属国家 |
|---|---|---|
| 95.181.232.37 | 95.181.232.37 | MA |
| 98.159.234.149 | beatus.dreamsinheels.com | US |
| 62.133.47.21 | 62.133.47.21 | KZ |
| 31.171.155.13 | 31.171.155.13 | AL |
| 146.70.52.205 | 146.70.52.205 | RU |
| 94.156.14.19 | 94.156.14.19 | US |
| 146.70.52.120 | 146.70.52.120 | RU |
| 172.83.47.100 | 172.83.47.100 | CA |
| 212.102.49.7 | unn-212-102-49-7.cdn77.com | ES |
| 154.3.40.98 | 154.3.40.98 | CA |
| 188.126.94.76 | greensomlt.com | DK |
| 37.19.221.35 | unn-37-19-221-35.datapacket.com | US |
| 95.181.233.7 | 95.181.233.7 | MC |
| 91.90.122.21 | 91.90.122.21 | LI |
一般不拦截。此类爬虫通常是网站所有者提交扫描请求才会出现。如果拦截,则无法执行相应的扫描动作。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 OpenVAS 或限制其访问权限。我们建议安装 Spider Analyser 插件,以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: OpenVAS Disallow: /
您无需手动执行此操作,可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
OpenVAS 是一款功能齊全的漏洞掃描器。其功能包括未經身份驗證和經過身份驗證的測試、各種高級和低級互聯網和工業協議、大規模掃描的性能調整以及用於實施任何類型的漏洞測試的強大內部編程語言。該掃描器從具有長期歷史和每日更新的來源中獲取用於檢測漏洞的測試。
OpenVAS 自2006 年以來一直由 Greenbone 公司開發和推動。 作為商業漏洞管理產品系列 Greenbone Enterprise Appliance 的一部分,該掃描器 與其他開源模組一起構成了 Greenbone 社群版。
(工作日 10:00 - 18:30 为您服务)