什么是抓取预算（Crawl Budget）及如何最大化其利用价值
Wikipedia crawler
| IP地址 | 服务器名称 | 所属国家 |
|---|---|---|
| 185.15.56.22 | instance-cyberbot-exec-iabot-01.cyberbot.wmflabs.org | US |
| 185.15.56.29 | instance-cyberbot-exec-iabot-02.cyberbot.wmflabs.org | NL |
| 185.15.56.1 | nat.cloudgw.eqiad1.wikimediacloud.org | US |
| IP地址 | 服务器名称 | 所属国家 |
|---|---|---|
| 185.15.56.22 | instance-cyberbot-exec-iabot-01.cyberbot.wmflabs.org | US |
| IP地址 | 服务器名称 | 所属国家 |
|---|---|---|
| 185.15.56.1 | nat.openstack.eqiad1.wikimediacloud.org | NL |
| IP地址 | 服务器名称 | 所属国家 |
|---|---|---|
| 208.80.155.255 | internal-server-nat.wmflabs.org | US |
Wikipedia作为全球最大最受欢迎的百科知识门户，其对互联网信息的采集整理和优化任务巨大。Wikipedia与众多搜索引擎一样，也会出动爬虫对互联网信息进行采集，筛选及更新等。
但不同的是Wikipedia爬虫不固定为其中的几个，而是存在2000+不同名称不同作用的爬虫机器人，您可以通过官方链接查看大部分的Wikipedia爬虫机器人信息。
这是一个按名称列出的所有维基百科机器人的完整列表，无论其状态、目的或方法如何。另请参见Special:ListUsers/bot。
InternetArchiveBot是一个先进的机器人，可以识别和替换损坏的外部链接。InternetArchiveBot也对参考文献进行了其他的改进，包括填写裸露的参考文献模板，并在适当的地方添加资源的链接。InternetArchiveBot监控每个维基媒体维基的新外链，并在50多个维基媒体维基上积极进行修复。这个机器人是作为互联网档案馆的一项服务，与维基媒体社区合作运营的。
由于志愿者的翻译，InternetArchiveBot的管理界面有许多语言版本。 如果您意愿，也可以访问 translatewiki.net 来帮助。
机器人的行为可以被改变以适应维基的需要。这可以通过在界面的配置页面上更新数值来实现。点击下面的链接来访问配置页面。确保从顶部的下拉菜单中选择正确的维基。只有管理员可以编辑特定维基的配置。
你可以使用 “分析页面“界面来修复死链接，或在特定页面上为所有链接添加存档链接。使用此工具进行的编辑将归于你。请确保从顶部的下拉菜单中选择正确的维基。
你也可以排队让机器人在多个页面上运行。这些文章将被添加到InternetArchiveBot的编辑队列中。
问：为什么机器人会向我的网站发出请求？
答：InternetArchiveBot是维基百科上一个非常依赖的工具。该机器人定期检查维基百科上的文章，并修复、替换或删除中断的链接。要做到这一点，它需要对URL进行ping，以检查它是否在工作。它通常通过发送HEAD请求来实现这一目的，以减少服务器的压力。在某些情况下，如果HEAD请求失败，它可能会尝试做一个完整的GET请求。
问：我的网站上有一个robots.txt，但InternetArchiveBot却忽略了它。为什么它不尊重robots.txt？
答：这是因为InternetArchiveBot实际上并没有抓取你的网站内容。该网站的内容没有被保存在任何地方。该机器人所做的只是评估该URL是否真的是一个提供内容的工作URL。它访问该URL只是因为它被用作维基百科上的一个来源。你会注意到，IABot在大多数情况下都在发出HEAD请求。如果该来源被从维基百科上删除，或被发现是坏的，IABot将停止向其发出请求。
问：为什么机器人会同时发出许多请求？
答：InternetArchiveBot以每篇文章为基础来测试链接。这意味着它每次都会浏览文章，并测试文章中发现的所有链接。如果您的网站在某篇文章中被大量使用，InternetArchiveBot将向所有这些URL发出请求。然而，IABot将在前往同一网站的请求之间等待1秒。
问：这些测试之间是否有一个等待期？
答：是的，如果URL被认为是活的，它将在再次测试特定URL之前保持至少1周的等待时间。如果发现该URL是死的，它将再测试2次，每次测试之间至少等待3天，然后再宣布它被破坏。如果机器人在剩下的2次测试中发现该URL是活的，那么1周的等待时间将被重新恢复。一旦机器人宣布一个链接被破坏，它将停止对该URL的进一步测试。
问：我可以阻止机器人吗？
答：你可以，但这是不可取的。阻止机器人可能会导致机器人认定你的整个网站都是坏的，并且在维基百科上会被这样对待。建议你联系User talk:InternetArchiveBot并要求他们将你的域名列入白名单。一旦列入白名单，机器人就会停止向你的域名发出请求。
问：如果我阻止机器人，会发生什么？
答：InternetArchiveBot会尽力确定你的网站是否瘫痪了，或者它被阻止了访问。如果它确定它已被封锁，它将把你的域名列入白名单，并自动停止向它发出请求。如果它不能检测到它已被封锁，IABot最终将开始把你的域名中的所有URL视为坏的，并可能从维基百科中替换或删除它们。
问：如果一个URL或一个网站被认为是不正常的，会发生什么？
答：InternetArchiveBot将停止向它认为是坏掉的URL发出请求，并开始从维基百科上替换或删除这些URL。如果被替换，它通常会用Wayback Machine捕获的存档副本来替换。
问：我们最近重组了我们的网站，但是InternetArchiveBot仍然在向旧的URLs发出请求。我们该怎么做？
答：有两个选择。最简单的办法是让所有旧的URL使用302代码重定向到他们新的正确的URL。IABot跟随重定向，并会自动测试新的URL。第二个选择是联系User talk:InternetArchiveBot并告知他们新的URL结构和如何正确转换。
问：如果我有更多的问题，我该怎么做？
答：建议你联系User talk:InternetArchiveBot并在他们的谈话页面上留言。要做到这一点，请点击页面右上方的New Section标签。
搜索引擎蜘蛛对移动设备和桌面设备的处理可以有一些不同之处。以下是一些常见的区别：
尽管搜索引擎蜘蛛对移动设备和桌面设备的处理可能略有不同，但总体目标是提供最佳的用户体验和相关的搜索结果。因此，为了获得良好的搜索可见性，建议采取以下措施：采用响应式网站设计、优化移动页面和内容、确保快速加载速度，并提供高质量和有价值的用户体验。
可以通过以下几种方式来识别和避免被搜索引擎蜘蛛认为是“过度优化”：
搜索引擎蜘蛛在处理重复内容时，会采用一些策略来判断哪些内容是重要的，哪些是不重要的。例如，如果两个网页的内容完全相同，那么搜索引擎可能会选择只保留其中一个网页的版本，或者根据链接的质量来确定哪个版本更重要。此外，有些搜索引擎还会使用相似性算法来检测内容之间的相似性，并将相似的内容进行分组，以便用户在搜索时能够更快速地找到所需的信息。
搜索引擎蜘蛛在处理重复内容时会采取一些处理策略，以确保搜索结果的质量和多样性。以下是搜索引擎蜘蛛处理重复内容的常见方法：
需要注意的是，尽管搜索引擎蜘蛛会处理重复内容，但重复内容本身可能对搜索引擎优化（SEO）产生负面影响。重复内容可能导致搜索引擎索引中的页面混淆和竞争，从而降低特定页面的排名和可见性。因此，在设计和维护网站时，应避免出现重复内容，保持页面的独特性和价值。
sitemap（网站地图）是一种XML文件，它包含了网站中所有网页的URL地址和这些页面的更新频率、更改频率等元数据。网站地图可以帮助搜索引擎蜘蛛更好地了解网站的架构和内容，从而更好地爬取网站中的网页。
搜索引擎蜘蛛是搜索引擎的自动程序，负责浏览互联网并收集网页内容，用于搜索引擎的索引和排名。当搜索引擎蜘蛛访问一个网站时，它通常会首先查找网站的sitemap。通过查看sitemap，蜘蛛可以了解网站的整体结构和可抓取的页面。这样，搜索引擎蜘蛛可以更加全面地抓取网站的内容，并将其添加到搜索引擎的索引中。
通过提供一个完整且准确的sitemap，网站所有可访问的页面都可以被搜索引擎蜘蛛发现和索引。这有助于确保网站的所有重要页面都被搜索引擎收录，从而提高页面在搜索引擎结果中的可见性和排名机会。
总结而言，sitemap是一个包含网站页面信息的XML文件，它将网站结构呈现给搜索引擎蜘蛛，以帮助其更好地抓取和索引网站内容。
可以通过以下几种方式来优化网站的加载速度以改善搜索引擎排名：
总的来说，加载速度是影响搜索引擎排名的重要因素之一。通过以上方法优化网站的加载速度可以提高搜索引擎排名，从而获得更好的流量和转化率。
可以通过以下几种方式来提高网站被搜索引擎蜘蛛抓取的频率：
