如何做搜索引擎蜘蛛日志分析
搜索引擎蜘蛛日志文件是一种非常强大但未被站长充分利用的文件，分析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。
| IP地址(287) | 服务器名称 | 所属国家 |
|---|---|---|
| 65.108.13.103 | crawl1-099.oi.tb.007ac9.net | FI |
| 135.181.138.46 | crawl1-054.oi.tb.007ac9.net | FI |
| 65.108.99.181 | crawl1-152.oi.tb.007ac9.net | FI |
| 65.108.99.120 | crawl1-136.oi.tb.007ac9.net | FI |
| 65.21.35.196 | crawl1-205.oi.tb.007ac9.net | FI |
| IP地址(6) | 服务器名称 | 所属国家 |
|---|---|---|
| 65.108.103.96 | crawl1-094.oi.tb.007ac9.net | FI |
| 135.181.137.98 | crawl1-048.oi.tb.007ac9.net | FI |
| 65.108.99.182 | crawl1-153.oi.tb.007ac9.net | FI |
| 135.181.140.183 | crawl1-034.oi.tb.007ac9.net | ? |
| 65.108.103.106 | crawl1-007.oi.tb.007ac9.net | ? |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 135.181.140.112 | crawl1-029.oi.tb.007ac9.net | FI |
| 65.21.35.239 | crawl1-231.oi.tb.007ac9.net | FI |
| 65.108.99.114 | crawl1-130.oi.tb.007ac9.net | FI |
| 65.21.74.6 | crawl1-247.oi.tb.007ac9.net | DE |
| 65.108.13.104 | crawl1-100.oi.tb.007ac9.net | FI |
| IP地址(29) | 服务器名称 | 所属国家 |
|---|---|---|
| 65.21.35.245 | crawl1-237.oi.tb.007ac9.net | FI |
| 65.21.35.185 | crawl1-197.oi.tb.007ac9.net | FI |
| 65.108.99.114 | crawl1-130.oi.tb.007ac9.net | FI |
| 65.21.35.182 | crawl1-194.oi.tb.007ac9.net | FI |
| 65.21.35.228 | crawl1-220.oi.tb.007ac9.net | FI |
| IP地址(10) | 服务器名称 | 所属国家 |
|---|---|---|
| 95.217.203.155 | crawl2-02.oi.tb.007ac9.net | FI |
| 95.217.200.120 | crawl2-04.oi.tb.007ac9.net | FI |
| 95.217.203.168 | crawl2-05.oi.tb.007ac9.net | FI |
| 95.217.201.149 | crawl2-09.oi.tb.007ac9.net | FI |
| 95.217.203.89 | crawl2-01.oi.tb.007ac9.net | FI |
一般不要拦截。搜索引擎爬虫为搜索引擎提供动力，是用户发现您网站的有效途径。事实上，拦截搜索引擎爬虫可能会严重减少网站的自然流量。
您可以通过在网站的 robots.txt 中设置用户代理访问规则来屏蔽 Seekport Crawler 或限制其访问权限。我们建议安装 Spider Analyser 插件，以检查它是否真正遵循这些规则。
# robots.txt # 下列代码一般情况可以拦截该代理 User-agent: Seekport Crawler Disallow: /
您无需手动执行此操作，可通过我们的 Wordpress 插件 Spider Analyser 来拦截不必要的蜘蛛或者爬虫。
Seekport是一个互联网搜索引擎。该搜索引擎最初成立于2003年，自2014年12月起由来自波恩（德国）的平台智能供应商SISTRIX运营。
该搜索引擎是谷歌的一个公开、免费和独立的替代方案。Seekport不存储用户数据，也不对用户进行分析。Seekport的运营也没有广告，在搜索结果的显示上没有利益冲突。
为了独立于主要的搜索引擎，SeekportBot在公共互联网上寻找并更新Seekport搜索索引的内容。
SeekportBot总是用用户代理 “Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)”来正确识别自己。SeekportBot也遵循Robots.txt中的Disallow指令。一个完整的、最新的SeekportBot使用的IP地址列表可以在任何时候在这个网址上查看。
SeekportBot在任何时候都尽量不使网站过载，并尽可能地在每秒钟内进行少量的调用。如果爬虫的默认设置对您的网站来说仍然过高，您可以使用robots.txt中的爬行延迟语句设置两次调用之间的等待时间。
User-agent: SeekportBotCrawl-delay: 2
在您修改了robots.txt之后，可能需要一段时间，直到机器人注册了新版本并遵守规则。
如果您不希望SeekportBot抓取您的网站，您可以通过在robots.txt中添加一个条目来防止它。该机器人的地址为 “SeekportBot”。
User-agent: SeekportBotDisallow: /
在你修改了robots.txt之后，可能需要一段时间，直到爬虫注册了新版本并遵守规则。
如果你有任何关于SeekportBot的问题或意见，请随时与他们联系，seekportbot@sistrix.com。你可以在这个网址上找到一个根据德国法规的合法有效的企业信息。
