如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(4) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 62.171.181.196 | vmi652047.contaboserver.net | DE |
| 164.68.97.25 | vmi984491.contaboserver.net | DE |
| 149.5.106.23 | ? | GB |
| 76.158.137.222 | c-76-158-137-222.hsd1.ca.comcast.net | US |
| 89.217.190.102 | adsl-89-217-190-102.adslplus.ch | CH |
| 84.247.191.147 | vmi1624596.contaboserver.net | DE |
| 66.94.114.182 | vmi949791.contaboserver.net | US |
| 47.72.227.218 | 47-72-227-218.dsl.dyn.ihug.co.nz | NZ |
| 45.62.89.44 | 45.62.89.44 | CA |
| 84.247.151.35 | vmi2150124.contaboserver.net | SG |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 93.157.168.252 | 93-157-168-252.avk-wellcom.com | RU |
| 78.82.187.174 | c-aebb524e.012-211-6d6c6d5.cust.ownit.se | SE |
| 62.228.69.24 | 62-69-24.netrun.cytanet.com.cy | CY |
| 216.137.2.6 | 216.137.2.6 | BS |
| 72.73.66.122 | 72-73-66-122.ptldme.east.myfairpoint.net | US |
| 131.147.164.85 | fp8393a455.stma001.ap.nuro.jp | JP |
| 176.158.41.14 | static-176-158-41-14.ftth.abo.bbox.fr | FR |
| 45.132.226.223 | ? | CH |
| 186.10.191.125 | z323.entelchile.net | CL |
| 47.72.227.218 | 47-72-227-218.dsl.dyn.ihug.co.nz | NZ |
| 108.181.55.89 | unassigned.psychz.net | US |
| 45.62.89.44 | 45.62.89.44 | CA |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 78.82.187.174 | c-aebb524e.012-211-6d6c6d5.cust.ownit.se | SE |
一般不要攔截。搜尋引擎爬蟲為搜尋引擎提供動力，是使用者發現您網站的有效途徑。事實上，攔截搜尋引擎爬蟲可能會嚴重減少網站的自然流量。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Timpibot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Timpibot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Timpi是世界上第一個完全去中心化的搜尋引擎。我們的使命是提供自由和無偏見的資訊訪問。不僅可以自由保護您的資料和隱私，您還可以自由做出自己的選擇，而不會被操縱。Timpi由您為您提供動力和管理。
至於關於Timpibot的介紹，貌似官方也沒有很詳細的資訊，倒是有國外站長反饋：
Timpibot是另一個行為惡劣的爬蟲
在過去的幾天裡，我注意到來自一個我以前沒有見過的使用者代理的積極的爬行。
Timpibot/0.8 (+http://www.timpi.io)Timpibot/0.8 (+http://www.timpi.io)Timpibot/0.8 (+http://www.timpi.io)它下載但完全無視robots.txt指令，每秒傳送幾十個並行請求。這觸發了我在我管理的基礎設施上設定的某些保障措施。這種行為可以在一組不同的機器上反覆觀察。
該公司的網站對自由、隱私、”由你驅動 “等進行了慣常的崇高的營銷宣稱。當然，這一切都完全忽略了我的–非常感謝。
他們也沒有提供電子郵件聯絡地址或爬蟲資訊頁面，這是值得信賴的演員的慣例。相反，這裡有關於融資回合的資訊。那裡有相當多的紅旗。甚至他們所謂的 “白皮書 “也是一份輕於技術細節的營銷檔案。
因此，我已經在全球範圍內阻止了該使用者代理，並將對目前和未來遇到的所有IP進行防火牆。目前，活動似乎集中在三個地址上。
2.70.165.155 (2.70.165.155.mobile.tre.se)89.217.182.135 (adsl-89-217-182-135.adslplus.ch)186.83.236.48 (dynamic-ip-1868323648.cable.net.co)2.70.165.155 (2.70.165.155.mobile.tre.se) 89.217.182.135 (adsl-89-217-182-135.adslplus.ch) 186.83.236.48 (dynamic-ip-1868323648.cable.net.co)2.70.165.155 (2.70.165.155.mobile.tre.se) 89.217.182.135 (adsl-89-217-182-135.adslplus.ch) 186.83.236.48 (dynamic-ip-1868323648.cable.net.co)我很不理解，一個搜尋初創公司怎麼能合理地認為，在抓取時忽視網站管理員的指令是可以接受的行為。這要麼是一種故意的選擇，要麼是對其核心技術的根本無能。你自己判斷哪種情況更合理。
最近，我確實遇到了一個不同但類似的案例，在詢問了各自的爬蟲後，他們大膽地表示robots.txt指令被遵循，並將允許Googlebot解釋為允許其爬蟲。他們的理由是：排除大多數爬蟲，但允許Googlebot，這對網站管理員來說是一種錯誤的配置。哇。
我不知道Timpi的團隊的態度是否同樣狂妄，但我想應該是這樣的。
