如何指定抓取的最大連結數？

在robots.txt檔案中，可以使用來指定爬蟲抓取的最大連結數。例如，”Crawl-delay: 100″將告訴爬物最多抓取100個連結數。

Crawl-delay指令用於限制蜘蛛（爬蟲）在訪問網站時的請求間隔時間。不是所有的搜尋引擎蜘蛛都支援Crawl-delay指令，但以下一些搜尋引擎蜘蛛已知支援：

1. Googlebot: Google搜尋引擎的爬蟲，可以解釋和遵循Crawl-delay指令。
2. Bingbot: Bing搜尋引擎的爬蟲，也可以理解和遵循Crawl-delay指令。
3. BaiduSpider: 百度搜尋引擎的爬蟲，支援Crawl-delay指令。
4. YandexBot: Yandex搜尋引擎的爬蟲，也可以識別和遵循Crawl-delay指令。

這些搜尋引擎蜘蛛是一些較為常見的支援Crawl-delay指令的示例，但請注意，搜尋引擎蜘蛛的行為可能會隨時間而變化，因此建議查閱它們的相關文件或官方指南，以獲取最新的資訊和支援列表。如果要使用Crawl-delay指令，還應該在robots.txt檔案中正確配置和設定，以確保與相應搜尋引擎的蜘蛛進行正確的互動。