如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案，分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點，及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 195.201.127.2 | api.marcobeierer.com | DE |
| 2a01:4f8:1c1c:70c::1 | api.marcobeierer.com | DE |
| IP地址(2) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 195.201.127.2 | api.marcobeierer.com | DE |
| 2a01:4f8:1c1c:70c::1 | api.marcobeierer.com | DE |
| IP地址(1) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 37.200.98.65 | server01.marcobeierer.com | DE |
通常不需要。連結檢測類爬蟲的爬取行為一般也不是自發性的，僅當認為提交網站連結檢測請求，這些爬蟲才會對網站的連結進行抓取和檢測。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 MB-SiteCrawler 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: MB-SiteCrawler Disallow: /
您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
MB-SiteCrawler是個人開發者MARCO BEIERER針對其所開發的Website Tools、Link Checker和Sitemap Generator三個工具開發的網路爬蟲。
Website Tools是一個用於網站技術優化的工具集合。目前，連結檢查器和網站地圖生成器可以通過該平臺使用。
我們的目標是開發一個平臺，以監測網站的技術方面，並支援消除技術上的缺陷。
網站工具適用於改善使用者體驗和搜尋引擎技術優化。
Link Checker抓取您的網站，並檢查是否有任何內部或外部連結無效。在專業版中，它還會檢查所有嵌入的圖片是否可以到達。
Link Checker可以作為：
Sitemap Generator允許你生成一個XML網站地圖，包括圖片和視訊的專業版本，以使你的網站更快地被搜尋引擎收錄。
Sitemap Generator可以作為：
MARCO BEIERER自2007年以來是一名自僱的網路開發人員和安全顧問，在瑞士工作。在過去幾年中，MARCO BEIERER為來自奧地利、德國、荷蘭和瑞士的客戶建立了多個網站、網路應用程式和Joomla擴充套件。自2014年3月以來，MARCO BEIERER還經營著一個網站的備份服務。MARCO BEIERER提供的服務包括網站建設、擴充套件開發和安全諮詢。
MARCO BEIERER曾在伯爾尼（瑞士）的應用科學大學學習電腦科學，重點是IT安全。在去伯爾尼之前，MARCO BEIERER曾在恩斯赫德的薩克森應用科學大學學習電腦科學（荷蘭）。
在學習期間，MARCO BEIERER特別獲得了用Java進行物件導向程式設計、計算機網路、網路技術、系統軟體、裝置驅動程式、密碼學、網路安全和系統安全方面的經驗。在MARCO BEIERER的自營工作中，MARCO BEIERER獲得了PHP、MySQL、HTML、CSS和網路相關安全主題的知識。
