能否在robots.txt檔案中阻止特定的搜尋引擎蜘蛛？

在 robots.txt 檔案中，可以使用 User-agent 指令來指定特定的搜尋引擎蜘蛛，並使用 Disallow 指令來禁止其訪問特定的 URL 路徑。例如，” User-agent: Googlebot” 和” Disallow: /private “將阻止 Googlebot 訪問以” /private “開頭的所有 URL 路徑。

如果你的網站是基於 WordPress，更直接的方式是安裝 Spider Analyser 外掛，可以快速通過外掛快速攔截不需要的蜘蛛或者爬蟲。