clark-crawler

基本資訊

clark-crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。

使用者代理

關於clark-crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：

來源

IP地址(154)	伺服器名稱	所屬國家
3.17.73.116	ec2-3-17-73-116.us-east-2.compute.amazonaws.com	US
3.137.155.40	ec2-3-137-155-40.us-east-2.compute.amazonaws.com	US
3.144.70.40	ec2-3-144-70-40.us-east-2.compute.amazonaws.com	US
18.223.131.121	ec2-18-223-131-121.us-east-2.compute.amazonaws.com	US
3.144.231.28	ec2-3-144-231-28.us-east-2.compute.amazonaws.com	US
3.144.234.139	ec2-3-144-234-139.us-east-2.compute.amazonaws.com	US
18.118.157.110	ec2-18-118-157-110.us-east-2.compute.amazonaws.com	US
18.116.165.34	ec2-18-116-165-34.us-east-2.compute.amazonaws.com	US
3.139.90.251	ec2-3-139-90-251.us-east-2.compute.amazonaws.com	US
3.14.87.194	ec2-3-14-87-194.us-east-2.compute.amazonaws.com	US

訪問控制

瞭解如何控制clark-crawler訪問許可權，避免clark-crawler抓取行為不當。

可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 clark-crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt

# 下列程式碼一般情況可以攔截該代理

User-agent: clark-crawler

Disallow: /

# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: clark-crawler Disallow: /

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: clark-crawler
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

基本資訊