
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(106) | 伺服器名稱 | 所屬國家 |
---|---|---|
192.82.210.67 | chi.outbrain.com | US |
192.82.210.33 | chi.outbrain.com | US |
192.82.210.98 | chi.outbrain.com | US |
192.82.210.128 | chi.outbrain.com | US |
192.82.210.34 | chi.outbrain.com | US |
64.202.112.1 | ? | US |
64.74.232.37 | ? | US |
64.202.112.5 | ? | US |
74.201.198.68 | ? | US |
66.225.223.6 | ? | US |
66.225.223.30 | ? | US |
64.74.232.61 | ? | US |
64.202.112.29 | ? | US |
64.74.232.40 | ? | US |
通常不需要。連結檢測類爬蟲的爬取行為一般也不是自發性的,僅當認為提交網站連結檢測請求,這些爬蟲才會對網站的連結進行抓取和檢測。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 outbrain 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: outbrain Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
Outbrain是一家技術公司,為您最喜愛的媒體上的發現源提供動力。
Outbrain是媒體公司技術堆疊的基礎組成部分,使他們能夠在受眾獲取、參與和保留方面與圍牆花園競爭。
Outbrain作為世界一流的廣告平臺通過引人入勝的廣告格式,幫助全球新興品牌在開放的網路上與消費者建立聯絡,激發行動。
Yaron Galai和Ori Lahav於2006年創立了Outbrain,以解決出版商在複製翻頁以發現網路上的下一篇文章或產品的印刷體驗時遇到的問題。
多年來發展的專業知識和創新使Outbrain成為推薦技術的核心,我們將繼續推動進步,以改善所有格式和跨裝置的內容的發現方式。
Outbrain的成功很大程度上可以直接歸功於我們的全球技術,商業和資料科學專家團隊,他們在全球18個地點工作。Outbrain由一群多元化,聰明和有動力的人組成,他們充滿激情和興奮地領導我們在網上發現事物的方式。我們正在重新定義行業內的可能性。如果您想成為這一旅程的一部分,請訪問我們的職業頁面。