如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(287) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 65.108.13.103 | crawl1-099.oi.tb.007ac9.net | FI |
| 135.181.138.46 | crawl1-054.oi.tb.007ac9.net | FI |
| 65.108.99.181 | crawl1-152.oi.tb.007ac9.net | FI |
| 65.108.99.120 | crawl1-136.oi.tb.007ac9.net | FI |
| 65.21.35.196 | crawl1-205.oi.tb.007ac9.net | FI |
| IP地址(6) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 65.108.103.96 | crawl1-094.oi.tb.007ac9.net | FI |
| 135.181.137.98 | crawl1-048.oi.tb.007ac9.net | FI |
| 65.108.99.182 | crawl1-153.oi.tb.007ac9.net | FI |
| 135.181.140.183 | crawl1-034.oi.tb.007ac9.net | ? |
| 65.108.103.106 | crawl1-007.oi.tb.007ac9.net | ? |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 135.181.140.112 | crawl1-029.oi.tb.007ac9.net | FI |
| 65.21.35.239 | crawl1-231.oi.tb.007ac9.net | FI |
| 65.108.99.114 | crawl1-130.oi.tb.007ac9.net | FI |
| 65.21.74.6 | crawl1-247.oi.tb.007ac9.net | DE |
| 65.108.13.104 | crawl1-100.oi.tb.007ac9.net | FI |
| IP地址(29) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 65.21.35.245 | crawl1-237.oi.tb.007ac9.net | FI |
| 65.21.35.185 | crawl1-197.oi.tb.007ac9.net | FI |
| 65.108.99.114 | crawl1-130.oi.tb.007ac9.net | FI |
| 65.21.35.182 | crawl1-194.oi.tb.007ac9.net | FI |
| 65.21.35.228 | crawl1-220.oi.tb.007ac9.net | FI |
| IP地址(10) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 95.217.203.155 | crawl2-02.oi.tb.007ac9.net | FI |
| 95.217.200.120 | crawl2-04.oi.tb.007ac9.net | FI |
| 95.217.203.168 | crawl2-05.oi.tb.007ac9.net | FI |
| 95.217.201.149 | crawl2-09.oi.tb.007ac9.net | FI |
| 95.217.203.89 | crawl2-01.oi.tb.007ac9.net | FI |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Seekport Crawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Seekport Crawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Seekport是一個網際網路搜尋引擎。該搜尋引擎最初成立於2003年，自2014年12月起由來自波恩（德國）的平臺智慧供應商SISTRIX運營。
該搜尋引擎是谷歌的一個公開、免費和獨立的替代方案。Seekport不儲存使用者資料，也不對使用者進行分析。Seekport的運營也沒有廣告，在搜尋結果的顯示上沒有利益衝突。
為了獨立於主要的搜尋引擎，SeekportBot在公共網際網路上尋找並更新Seekport搜尋索引的內容。
SeekportBot總是用使用者代理 “Mozilla/5.0 (compatible; SeekportBot; +https://bot.seekport.com)”來正確識別自己。SeekportBot也遵循Robots.txt中的Disallow指令。一個完整的、最新的SeekportBot使用的IP地址列表可以在任何時候在這個網址上檢視。
SeekportBot在任何時候都儘量不使網站過載，並儘可能地在每秒鐘內進行少量的呼叫。如果爬蟲的預設設定對您的網站來說仍然過高，您可以使用robots.txt中的爬行延遲語句設定兩次呼叫之間的等待時間。
User-agent: SeekportBotCrawl-delay: 2
在您修改了robots.txt之後，可能需要一段時間，直到機器人註冊了新版本並遵守規則。
如果您不希望SeekportBot抓取您的網站，您可以通過在robots.txt中新增一個條目來防止它。該機器人的地址為 “SeekportBot”。
User-agent: SeekportBotDisallow: /
在你修改了robots.txt之後，可能需要一段時間，直到爬蟲註冊了新版本並遵守規則。
如果你有任何關於SeekportBot的問題或意見，請隨時與他們聯絡，seekportbot@sistrix.com。你可以在這個網址上找到一個根據德國法規的合法有效的企業資訊。
