PaperLiBot

是否攔截PaperLiBot？

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。 但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 PaperLiBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: PaperLiBot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

PaperLiBot是Paper.li的網路爬蟲的通用名稱。

Paper.li是一項內容策劃服務，讓你把社會共享的內容變成美麗的線上報紙和通訊。

為什麼PaperLiBot會抓取我的網站？

PaperLiBot可能因為以下原因開始抓取你的網站：

• 您的網站在社交媒體網站上被分享或參與了。
• 你的網站在宣傳RSS訂閱。
• 一個Paper.li使用者正在將你的網站的一些內容新增到他們的論文中。

我的網站內容如何被使用？

您的內容可能被包含在Paper.li的一篇或多篇論文中。這些內容可以在論文網頁上看到，也可以包含在電子郵件通訊和社會宣傳中（Twitter、Facebook和LinkedIn）。

當您的內容被收錄時，將採取以下格式：

• 一個指向原始內容URL（你的網站）的連結。
• 該頁的標題（在內容被抓取時）。
• 在原始內容的URL上發現的圖片縮圖。
• 內容的簡短摘要（不超過200個字元）。
• 導致發現該內容的來源（社交媒體上的帖子、RSS feed條目、貢獻者）。

關於爬蟲的技術細節

當PaperLiBot爬蟲訪問您的網站時，它將傳送一個有效的使用者代理頭，並從Paper.li的基礎設施連線。

PaperLiBot的使用者代理是：

Mozilla/5.0 (compatible; PaperLiBot/2.1; https://support.paper.li/entries/20023257-what-is-paper-li)

PaperLiBot被設計為同時在多臺不同的機器上執行以提高效能和規模。因此，您的日誌可能會顯示來自我們基礎設施內的幾臺機器的訪問，我們的基礎設施託管在OVHcloud（歐洲）和亞馬遜網路服務（美國）。

PaperLiBot通常平均每幾秒鐘訪問你的網站不超過一次。然而，由於社會媒體內容的病毒性質，有可能在短期內出現稍高的比率。

阻止PaperLiBot訪問你的網站

如果您想阻止PaperLiBot抓取您網站上的內容，請與Paper.li聯絡，以便Paper.li將您的網站新增到Paper.li的封鎖名單中，並阻止未來的內容被納入Paper.li服務中。