如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(20) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 23.239.5.82 | li699-82.members.linode.com | US |
| 107.191.48.232 | 107.191.48.232.vultr.com | US |
| 108.61.193.94 | 108.61.193.94.vultr.com | US |
| 162.243.165.196 | usny.montools.com | US |
| 108.61.194.235 | 108.61.194.235.vultr.com | US |
| 45.33.6.48 | li960-48.members.linode.com | US |
| 74.208.57.145 | infong647.perfora.net | US |
| 192.210.232.164 | 192-210-232-164-host.colocrossing.com | US |
| 192.3.229.4 | 192-3-229-4-host.colocrossing.com | US |
| 107.174.218.74 | 107-174-218-74-host.colocrossing.com | US |
通常不需要,如果您不需要此類監控服務,在服務提供網站移除您的網站即可。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 MonTools.Com 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: MonTools.Com Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
MonTools是一個強大但易於使用的免費網站監控服務。它在你指定的時間間隔內檢查你的網站或伺服器,一旦發現你的網站出現故障,就會向你傳送電子郵件、簡訊、微博提醒或語音電話。我們的大部分服務都是免費的。
網站監測對於確保你的網站對使用者可用並將停機時間降到最低是極其重要的。如果你的網站不可靠,依賴你的網站的訪問者會感到沮喪,最終停止使用你的網站。如果你的網站經常停機或停機時間較長,甚至你的搜尋引擎排名也可能消失。
| Feature | 免費 | 付費 | 描述 |
|---|---|---|---|
| 監控型別 | |||
| 網站監控 | 任何網站、網頁或URL,也稱為HTTP監控器 | ||
| HTTPS監控 | 安全網站監控器或SSL監控器 | ||
| FTP監控 | FTP伺服器監控器 | ||
| Apache監控 | 監控失敗、過載或其他Apache引數 | ||
| MySQL監控 | 監控失敗、過載或其他MySQL引數 | ||
| IMAP監控 | 監控IMAP電子郵件伺服器 | ||
| POP3監控 | 監控POP3電子郵件伺服器 | ||
| SMTP監控 | 監控SMTP電子郵件伺服器 | ||
| API監控 | 從文字或xml URL中提取並監控引數 | ||
| Ping監控 | 監控使用ICMP(真正的ping)或TCP(自定義ping) | ||
| DNS監控 | DNS伺服器或條目 | ||
| SNMP監控 | 監控伺服器負載、記憶體、磁碟使用開放源sw | ||
| 監控選項 | |||
| 監控時間間隔 | 30 min. 至 1 天 | 1 sec. to 1 天 | 檢查間隔時間 |
| 監控節點 | 6 | 6 | 多個監控地點以保證可靠性 |
| 維護視窗 | 1 | 維護活動期間暫停監控 | |
| 檢查SSL證書 | 如果SSL證書無效或過期,傳送警報 | ||
| 自定義超時 | – | 設定監控器等待響應的時間 | |
| 受密碼保護的頁面 | – | 監控受密碼保護的網站或網頁 | |
| HTTP POST變數 | – | 監控網頁上的表格 | |
| 關鍵詞搜尋 | – | 如果找到或未找到關鍵詞,傳送警報 | |
| 自定義埠 | – | 監測任何監測器型別的自定義埠 | |
| 從屬監測器 | 在不載入網站的情況下新增多個監視器 | ||
| 警報 | |||
| 電子郵件警報 | 通過電子郵件傳送故障警報 | ||
| 簡訊警報 | 對100多個運營商免費 | ||
| 推特警報 | 使用Twitter私人資訊的免費簡訊警報 | ||
| 語音提示 | – | 自動向你的手機發出語音警報 | |
| URL回撥 | 向一個URL報告故障,例如,用於進一步自動化 | ||
| 警報跳過 | 允許延遲或立即傳送警報 | ||
| 警報限制 | 在連續發生故障的情況下,允許對警報進行限制 | ||
| 警報聯絡人 | 3 | 允許向多人傳送警報 | |
| 警報政策 | 1 | 允許對具有類似警報的監控器採用共同的警報策略 | |
| 升級政策 | 1 | 允許多個警報級別 | |
| 工作輪班 | 1 | 根據員工的工作時間來限制警報 | |
| 自定義警報標準 | – | 例如,伺服器負載>0.9,可用記憶體<10%。 | |
| 報告 | |||
| 狀態頁 | 無需登入的監控狀態(可隱藏) | ||
| 正常執行時間統計 | 正常執行時間/停機時間統計 | ||
| 正常執行時間日誌 | 詳細的正常執行時間/停機時間日誌 | ||
| 正常執行時間圖表 | 正常執行時間/停機時間圖 | ||
| 響應時間統計 | 響應時間統計 | ||
| 響應時間日誌 | 詳細的響應時間日誌 | ||
| 響應時間圖表 | 響應時間圖 | ||
| 故障原因 | 警報和日誌中的顯示器故障原因 | ||
| 正常執行時間按鈕 | 在你的網站上展示你的正常執行時間 | ||
| 自定義摘要頁 | 1 | 無需登入的多個監視器狀態(可隱藏) | |
| 自定義統計 | – | 自定義引數的統計,如伺服器負載 | |
| 自定義日誌 | – | 自定義引數的日誌值 | |
| 自定義圖表 | – | 繪製自定義引數的圖表 | |
| 生產力 | |||
| 自定義時區 | 將網站時間調整為您的當地時間 | ||
| 手動監控測試 | 手動檢查你的網站或伺服器是否在工作 | ||
| 手動警報測試 | 核實警報是否正確傳送 | ||
| 價效比高 | |||
| 資金有效期 | – | 1 Year | 資金只用於所使用的付費服務。剩餘的資金結轉到下個月。 |