topster_de-crawler
topster_de-crawler蜘蛛/爬蟲屬於工具型別，由Thomas Pustelnik開發執行。您可以繼續閱讀下方資訊，以深入瞭解topster_de-crawler基本資訊，使用者代理和訪問控制等。
基本資訊
topster_de-crawler的基本資訊如下表。但部分不是很規範的蜘蛛和爬蟲，可能存在資訊不明的情況。
- 蜘蛛/爬蟲名稱
- topster_de-crawler
- 型別
- 工具 , 連結檢測
- 開發商
-
Thomas Pustelnik
- 當前狀態
-
無效
使用者代理
關於topster_de-crawler蜘蛛或者爬蟲的使用者代理字串，IP地址和伺服器，所在地等資訊如下表格所示：
HTTP-Header 1.0
-
HTTP-Header 1.0
-
Linkchecker 6.1
-
Linkchecker 5.0
-
Linkchecker 5.0
-
Linkchecker 5.0
-
Linkchecker 5.0
-
Linkchecker 5.0
-
Linkchecker 5.0
-
Linkchecker 5.0
- 使用者代理字串
- topster.de HTTP-Header 1.0
- 首次出現
- 2016-10-05 14:45:55
- 最後出現
- 2018-06-13 14:26:48
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 37.17.224.87 |
s87.goserver.host |
DE |
| 81.88.40.168 |
web701.kontent.com |
DE |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 6.1) like Gecko (185.215.20.18)
- 首次出現
- 2018-06-13 12:22:06
- 最後出現
- 2018-06-13 14:22:06
- 遵循robots.txt
- 否
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 13.93.120.52 |
? |
NL |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (185.215.22.18)
- 首次出現
- 2017-12-02 10:20:37
- 最後出現
- 2017-12-18 20:59:56
- 遵循robots.txt
- 否
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 13.93.120.52 |
? |
NL |
| 13.93.80.55 |
? |
NL |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (185.215.22.2)
- 首次出現
- 2017-11-06 06:45:40
- 最後出現
- 2017-11-12 20:16:14
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(2) |
伺服器名稱 |
所屬國家 |
| 13.93.80.55 |
? |
NL |
| 13.93.120.52 |
? |
NL |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (212.80.67.178)
- 首次出現
- 2017-10-19 04:19:43
- 最後出現
- 2017-10-19 04:19:43
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 13.93.80.55 |
13.93.80.55 |
NL |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (77.217.33.117)
- 首次出現
- 2017-07-31 12:43:25
- 最後出現
- 2017-07-31 12:43:25
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 13.69.15.195 |
? |
NL |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (90.177.52.133)
- 首次出現
- 2016-10-06 14:03:49
- 最後出現
- 2017-06-18 16:54:08
- 遵循robots.txt
- 否
- 來源
-
| IP地址(4) |
伺服器名稱 |
所屬國家 |
| 40.113.140.70 |
? |
NL |
| 40.113.141.71 |
? |
NL |
| 40.113.136.167 |
? |
NL |
| 168.61.171.44 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (194.228.205.74)
- 首次出現
- 2016-03-05 14:48:10
- 最後出現
- 2016-10-05 16:49:11
- 遵循robots.txt
- 否
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 13.69.15.195 |
? |
NL |
| 13.93.80.55 |
13.93.80.55 |
NL |
| 13.93.120.52 |
? |
NL |
| 40.113.140.70 |
? |
NL |
| 40.113.141.71 |
? |
NL |
| 40.113.136.167 |
? |
NL |
| 168.61.171.44 |
? |
US |
- 使用者代理字串
- Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0; topster.de Linkchecker 5.0) like Gecko (194.228.205.74)
- 首次出現
- 2016-03-05 14:48:10
- 最後出現
- 2016-10-05 16:49:11
- 遵循robots.txt
- 未知
- 來源
-
| IP地址(1) |
伺服器名稱 |
所屬國家 |
| 168.61.171.44 |
? |
US |
訪問控制
瞭解如何控制topster_de-crawler訪問許可權，避免topster_de-crawler抓取行為不當。
是否攔截topster_de-crawler？
可能不需要。工具型別爬蟲通常為網站所有者使用此類工具對網站進行相關服務請求才會出現。當然，實際情況需站長判斷後再作決定。
通過Robots.txt攔截
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 topster_de-crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser
外掛，以檢查它是否真正遵循這些規則。
User-agent: topster_de-crawler
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: topster_de-crawler
Disallow: /
# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: topster_de-crawler
Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
