如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(58) | 服务器名称 | 所属国家 |
|---|---|---|
| 179.43.167.230 | 179.43.167.230 | CH |
| 184.75.210.90 | s448.pingdom.com | CA |
| 209.126.120.29 | s4008.pingdom.com | US |
| 169.51.80.85 | s4038.pingdom.com | NO |
| 207.244.80.239 | s485.pingdom.com | US |
| IP地址(2) | 服务器名称 | 所属国家 |
|---|---|---|
| 52.59.46.112 | ec2-52-59-46-112.eu-central-1.compute.amazonaws.com | DE |
| 52.59.147.246 | ec2-52-59-147-246.eu-central-1.compute.amazonaws.com | DE |
| IP地址(18) | 服务器名称 | 所属国家 |
|---|---|---|
| 18.185.36.38 | ec2-18-185-36-38.eu-central-1.compute.amazonaws.com | DE |
| 52.59.46.112 | ec2-52-59-46-112.eu-central-1.compute.amazonaws.com | DE |
| 52.59.147.246 | ec2-52-59-147-246.eu-central-1.compute.amazonaws.com | DE |
| 35.156.182.26 | ec2-35-156-182-26.eu-central-1.compute.amazonaws.com | DE |
| 35.178.157.56 | ec2-35-178-157-56.eu-west-2.compute.amazonaws.com | GB |
| IP地址(4) | 服务器名称 | 所属国家 |
|---|---|---|
| 52.201.3.199 | ec2-52-201-3-199.compute-1.amazonaws.com | US |
| 50.16.153.186 | ec2-50-16-153-186.compute-1.amazonaws.com | US |
| 52.73.209.122 | ec2-52-73-209-122.compute-1.amazonaws.com | US |
| 23.22.2.46 | ec2-23-22-2-46.compute-1.amazonaws.com | US |
| IP地址(1) | 服务器名称 | 所属国家 |
|---|---|---|
| 208.42.251.123 | 208-42-251-123.static.eng01.latisys.net | US |
| IP地址(2) | 服务器名称 | 所属国家 |
|---|---|---|
| 52.90.141.34 | ec2-52-90-141-34.compute-1.amazonaws.com | US |
| 52.91.53.9 | ec2-52-91-53-9.compute-1.amazonaws.com | US |
| IP地址(2) | 服务器名称 | 所属国家 |
|---|---|---|
| 209.62.82.12 | ev1s-209-62-82-12.theplanet.com | US |
| 70.85.114.58 | 3a.72.5546.static.theplanet.com | US |
一般不拦截。此类爬虫通常由诸如Pingdom, Gtmetrix和PageSpeed Insights等网站测速工具发起，且一般为网站所有者所为。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Pingdom.com bot 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Pingdom.com bot Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Pingdom是一个网站监测服务。Pingdom监测互联网上的网站和服务器，如果发现有问题，就会提醒网站所有者。
你的网站是你的数字店面。你的营销材料和活动把他们带到了你的网站，但如果它不可用、速度慢或坏了，它可能会损害你的品牌和你的商业目标。通过合成监测，帮助确保你的客户在你的网站上有最好的体验。如果你的网站不可用或速度慢，或网站互动出现问题，你将会是第一个知道的人。全面监测包括真实用户监测。你的访客如何体验你的网站，会因他们使用的浏览器、设备和平台而不同。通过使用指标，如访问量最大的页面、最大的平台、最大的浏览器、活跃的会话和跳出率，确定改进措施，比较同比数据，并告知营销决策。
Pingdom 帮助您提供卓越的服务和第三方证明，通过可共享和可定制的报告满足关键的服务目标和 SLA。作为一个虚拟主机供应商，你可能与你的客户有关于网站性能的协议。例如，网站将在99.9%的时间内正常运行，或者网页的加载时间将少于3秒。由于这些协议，如果发生事故，你应该始终是第一个知道的。如果你的服务所托管的网站不可用，速度慢，或没有达到预期的功能，你可以确保正确的人立即得到提醒。通过Pingdom真实用户监控，你可以设置被认为是令人满意的性能水平，因此你可以帮助确保为你的客户提供无缝的网站体验。公共状态页面允许你提供第三方证明，以实现服务水平协议并保持你的客户满意。
在你将一个变化推向生产之前，确保它不会对你的网络应用的可用性或性能产生负面影响。在开发过程中测试性能，在生产过程中排除问题–识别瓶颈，获得可操作的见解，并加速你的网站。通过正常运行时间监测，你可以避免不必要的停机时间，并在你的网站无法使用时立即得到提醒。页面速度监测将帮助你做出优化决策，并以每个元素的大小和加载时间为武器。真实用户监控可以帮助你在真实用户遇到问题时按地域、设备或浏览器进行过滤。您还可以利用Pingdom API在您现有的系统或门户中产生的性能洞察力。通过我们的简化实施，通常在几分钟内就可以创建新的API查询。
