Spider
Spider蜘蛛/爬蟲屬於爬蟲型別，由Unknown Author開發執行。您可以繼續閱讀下方資訊，以深入瞭解Spider基本資訊，使用者代理和訪問控制等。
基本資訊
Spider的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- Spider
- 型別
- 爬蟲
- 開發商
-
Unknown Author
- 當前狀態
-
活動
使用者代理
關於Spider蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
Spider_Bot/3.0
-
Spider_Bot/3.0
-
Spider
-
Spider2.0
-
XYZ Spider
-
spiderbot
-
Spider/Bot
- 使用者代理字串
- Spider_Bot/3.0
- 首次出現
- 2021-09-09 07:24:12
- 最後出現
- 2023-08-18 19:05:12
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 2600:3c00::f03c:92ff:fe2d:bbf6 |
2600:3c00::f03c:92ff:fe2d:bbf6 |
US |
- 使用者代理字串
- Spider
- 首次出現
- 2021-10-25 12:20:07
- 最後出現
- 2021-10-25 12:20:07
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 207.154.223.24 |
kraftwerk.reclaimhosting.com |
DE |
| 91.239.200.82 |
gelf16.thinline.cz |
CZ |
| 184.168.101.66 |
ip-184-168-101-66.ip.secureserver.net |
US |
| 52.204.198.138 |
ec2-52-204-198-138.compute-1.amazonaws.com |
US |
| 207.148.122.245 |
207.148.122.245.vultr.com |
SG |
| 45.33.61.188 |
li1080-188.members.linode.com |
US |
| 45.79.86.151 |
li1185-151.members.linode.com |
US |
| 8.9.8.142 |
8.9.8.142.vultr.com |
US |
| 45.77.207.43 |
45.77.207.43.vultr.com |
US |
| 50.62.161.45 |
p3plcpnl0278.prod.phx3.secureserver.net |
US |
| 141.98.83.139 |
141.98.83.139 |
PA |
| 198.199.125.129 |
mail.cookie-script.com |
NL |
- 使用者代理字串
- Spider2.0
- 首次出現
- 2021-09-07 18:43:55
- 最後出現
- 2021-09-07 18:43:55
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 91.123.157.56 |
91.123.157.56 |
UA |
- 使用者代理字串
- XYZ Spider
- 首次出現
- 2020-09-22 05:38:38
- 最後出現
- 2020-09-22 05:38:38
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 62.152.55.125 |
main3.iadmin.ru |
RU |
- 使用者代理字串
- spiderbot
- 首次出現
- 2015-12-03 12:16:32
- 最後出現
- 2016-05-14 22:12:25
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(6) |
伺服器名稱 |
所屬國家 |
| 54.183.221.205 |
ec2-54-183-221-205.us-west-1.compute.amazonaws.com |
US |
| 54.67.36.215 |
ec2-54-67-36-215.us-west-1.compute.amazonaws.com |
US |
| 54.215.213.65 |
ec2-54-215-213-65.us-west-1.compute.amazonaws.com |
US |
| 54.219.133.79 |
ec2-54-219-133-79.us-west-1.compute.amazonaws.com |
US |
| 54.183.162.123 |
ec2-54-183-162-123.us-west-1.compute.amazonaws.com |
US |
| 54.183.201.243 |
ec2-54-183-201-243.us-west-1.compute.amazonaws.com |
US |
- 使用者代理字串
- Spider/Bot
- 首次出現
- 2015-12-04 11:16:22
- 最後出現
- 2015-12-04 11:16:22
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 91.221.66.52 |
host-91-221-66-52.creanova.org |
FI |
訪問控制
瞭解如何控制Spider訪問許可權，避免Spider抓取行為不當。
是否攔截Spider？
可以考慮攔截。。爬蟲通常會下載公開的網際網路內容，這些內容預設情況下可以免費訪問。不過，如果你不希望你的內容被用於未經授權的目的，你應該攔截它們。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Spider 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Spider
Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Spider
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
