如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(58) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 179.43.167.230 | 179.43.167.230 | CH |
| 184.75.210.90 | s448.pingdom.com | CA |
| 209.126.120.29 | s4008.pingdom.com | US |
| 169.51.80.85 | s4038.pingdom.com | NO |
| 207.244.80.239 | s485.pingdom.com | US |
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.59.46.112 | ec2-52-59-46-112.eu-central-1.compute.amazonaws.com | DE |
| 52.59.147.246 | ec2-52-59-147-246.eu-central-1.compute.amazonaws.com | DE |
| IP地址(18) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 18.185.36.38 | ec2-18-185-36-38.eu-central-1.compute.amazonaws.com | DE |
| 52.59.46.112 | ec2-52-59-46-112.eu-central-1.compute.amazonaws.com | DE |
| 52.59.147.246 | ec2-52-59-147-246.eu-central-1.compute.amazonaws.com | DE |
| 35.156.182.26 | ec2-35-156-182-26.eu-central-1.compute.amazonaws.com | DE |
| 35.178.157.56 | ec2-35-178-157-56.eu-west-2.compute.amazonaws.com | GB |
| IP地址(4) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.201.3.199 | ec2-52-201-3-199.compute-1.amazonaws.com | US |
| 50.16.153.186 | ec2-50-16-153-186.compute-1.amazonaws.com | US |
| 52.73.209.122 | ec2-52-73-209-122.compute-1.amazonaws.com | US |
| 23.22.2.46 | ec2-23-22-2-46.compute-1.amazonaws.com | US |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 208.42.251.123 | 208-42-251-123.static.eng01.latisys.net | US |
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 52.90.141.34 | ec2-52-90-141-34.compute-1.amazonaws.com | US |
| 52.91.53.9 | ec2-52-91-53-9.compute-1.amazonaws.com | US |
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 209.62.82.12 | ev1s-209-62-82-12.theplanet.com | US |
| 70.85.114.58 | 3a.72.5546.static.theplanet.com | US |
一般不攔截。此類爬蟲通常由諸如Pingdom, Gtmetrix和PageSpeed Insights等網站測速工具發起，且一般為網站所有者所為。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Pingdom.com bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: Pingdom.com bot Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Pingdom是一個網站監測服務。Pingdom監測網際網路上的網站和伺服器，如果發現有問題，就會提醒網站所有者。
你的網站是你的數字店面。你的營銷材料和活動把他們帶到了你的網站，但如果它不可用、速度慢或壞了，它可能會損害你的品牌和你的商業目標。通過合成監測，幫助確保你的客戶在你的網站上有最好的體驗。如果你的網站不可用或速度慢，或網站互動出現問題，你將會是第一個知道的人。全面監測包括真實使用者監測。你的訪客如何體驗你的網站，會因他們使用的瀏覽器、裝置和平臺而不同。通過使用指標，如訪問量最大的頁面、最大的平臺、最大的瀏覽器、活躍的會話和跳出率，確定改進措施，比較同比資料，並告知營銷決策。
Pingdom 幫助您提供卓越的服務和第三方證明，通過可共享和可定製的報告滿足關鍵的服務目標和 SLA。作為一個虛擬主機供應商，你可能與你的客戶有關於網站效能的協議。例如，網站將在99.9%的時間內正常執行，或者網頁的載入時間將少於3秒。由於這些協議，如果發生事故，你應該始終是第一個知道的。如果你的服務所託管的網站不可用，速度慢，或沒有達到預期的功能，你可以確保正確的人立即得到提醒。通過Pingdom真實使用者監控，你可以設定被認為是令人滿意的效能水平，因此你可以幫助確保為你的客戶提供無縫的網站體驗。公共狀態頁面允許你提供第三方證明，以實現服務水平協議並保持你的客戶滿意。
在你將一個變化推向生產之前，確保它不會對你的網路應用的可用性或效能產生負面影響。在開發過程中測試效能，在生產過程中排除問題–識別瓶頸，獲得可操作的見解，並加速你的網站。通過正常執行時間監測，你可以避免不必要的停機時間，並在你的網站無法使用時立即得到提醒。頁面速度監測將幫助你做出優化決策，並以每個元素的大小和載入時間為武器。真實使用者監控可以幫助你在真實使用者遇到問題時按地域、裝置或瀏覽器進行過濾。您還可以利用Pingdom API在您現有的系統或門戶中產生的效能洞察力。通過我們的簡化實施，通常在幾分鐘內就可以建立新的API查詢。
