Pinterest bot

是否攔截Pinterest bot？

對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的，也可能是壞的，這取決於它是什麼。所以說，這需要站長進一步分析判斷這些尚不明確的爬蟲行為，再作最終決定。 但，根據以往的經驗，未宣告行為目的及未命名的蜘蛛爬蟲，通常都有不可告人的祕密，我們理應對其行為進行控制，比如攔截。

通過Robots.txt攔截

您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 Pinterest bot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛，以檢查它是否真正遵循這些規則。

# robots.txt
# 下列程式碼一般情況可以攔截該代理
User-agent: Pinterest bot
Disallow: /

您無需手動執行此操作，可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。

為幫助人們發現並做他們喜愛的事情，Pinterest 建立由數十億 Pin 圖組成的資料庫。為了保護 Pinterest 使用者並提供最高品質的內容，Pinterest 使用網路爬蟲程式（Pinterest bot）來幫助 Pinterest 識別 Pin 圖後方頁面上的資料。

這些頁面包含豐富的訊號，使 Pinterest 能夠作出推斷給出更好的建議，打擊垃圾郵件，並顯示有用的資訊。為充分利用這些訊號，Pinterest 經常獲取、儲存和處理與 Pin 圖關聯的頁面內容。​

Pinterest 爬蟲程式為何訪問你的網站

Pinterest 爬蟲程式訪問你的網站主要有三個原因：

• 從你的目錄下載每個產品的圖片檔案
• 收集各種後設資料，例如產品價格、描述和可用性
• 確保使用者安全訪問

Pinterest 爬蟲程式如何訪問你的網站

當真正的 Pinterest 爬蟲程式訪問你的網站時，它將傳送一個有效的 Pinterest 使用者代理並通過 Pinterest 運營的網路進行連線。

Pinterest 爬蟲程式遵循機器人排除標準 (robots.txt)，配置為限制針對你網站的併發請求速率。請勿在你的網站配置程式碼中固定這些 IP 地址，因為爬蟲程式使用的地址可能會在未經通知的情況下發生更改。

Pinterest bot 的使用者代理是：

Pinterest/0.2 (+https://www.pinterest.com/bot.html)
Mozilla/5.0(compatible; Pinterestbot/1.0;+https://www.pinterest.com/bot.html)Mozilla/5.0(Linux; Android 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Pinterestbot/1.0;+https://www.pinterest.com/bot.html)

Pinterest bot 的 IP 是動態的，經常變化，但始終在 54.236.1.001 到 54.236.1.255 範圍內。

地理分散式爬取

Pinterest 爬蟲程式主要使用美國 IP 地址進行爬取。Pinterest 也可能使用美國之外的 IP 地址進行爬取以支援本地化的資料。

美國 IP 地址的範圍始終為：54.236.1.XXX。

非美國 IP 地址沒有固定範圍。如果你擔心有人偽裝成 Pinterest 爬蟲程式訪問你的網站，請按照下一部分中的步驟驗證其真實性，而非依賴於 IP 範圍檢查。

驗證 Pinterest 爬蟲程式

1. 使用主機命令對日誌中的 IP 地址執行反向 DNS 查詢
2. 驗證響應中的域名是否以 pinterest.com或 pinterestcrawler.com 結尾
3. 使用主機命令對步驟 1 中檢索到的響應執行正向 DNS 查詢
4. 驗證它與步驟 1 中的 IP 地址是否相同

如果某個客戶端可以傳送有效的 Pinterest 使用者代理，且持續向你傳送流量，但此客戶端無法通過上述 DNS 測試，請聯絡 Pinterest。

限制或限定 Pinterest 訪問你的站點

如需修改 Pinterest 爬蟲程式的行為，你需要更新站點的 robots.txt 檔案。確保將 robots.txt 檔案放置於主域名上，因為 Pinterest 不支援子域名上的 robots.txt 檔案。

較大的爬取延遲值會影響你的內容在 Pinterest 上的分發和推薦。因此，爬取延遲值最大限定為 1，大於 1 的任何值都將被視為 1。如果你需設定更大的爬取延遲值，請聯絡 Pinterest

設定爬取延遲

user-agent: Pinterestbot
Crawl-delay: 0.2

限制 Pinterest 爬取你的整個站點

user-agent: Pinterestbot
disallow: /

限制 Pinterest 爬取路徑

user-agent: Pinterestbot
disallow: /directory1/

允許 Pinterest 爬取遮蔽路徑中的子路徑

user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/

設定多個 robots.txt 引數

user-agent: Pinterestbot
disallow: /directory1/
allow: /directory1/subdirectory1/
crawl-delay: 0.2