如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
| IP地址(25) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 59.82.84.32 | 59.82.84.32 | CN |
| 59.82.84.69 | 59.82.84.69 | CN |
| 59.82.84.40 | 59.82.84.40 | CN |
| 59.82.84.91 | 59.82.84.91 | CN |
| 59.82.84.85 | 59.82.84.85 | CN |
| 59.82.61.23 | 59.82.61.23 | CN |
| 59.82.61.33 | 59.82.61.33 | CN |
| 59.82.61.61 | 59.82.61.61 | CN |
| 59.82.61.19 | 59.82.61.19 | CN |
| 59.82.61.11 | 59.82.61.11 | CN |
| 8.142.32.202 | 8.142.32.202 | CN |
| 39.103.217.225 | 39.103.217.225 | CN |
| 8.142.156.176 | 8.142.156.176 | CN |
| 8.142.47.14 | 8.142.47.14 | CN |
| 8.142.112.208 | 8.142.112.208 | CN |
| 39.98.123.102 | 39.98.123.102 | CN |
| IP地址(3) | 伺服器名稱 | 所屬國家 |
|---|---|---|
| 59.82.21.31 | 59.82.21.31 | CN |
| 59.82.83.91 | 59.82.83.91 | CN |
| 59.82.83.75 | 59.82.83.75 | CN |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DingTalkBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: DingTalkBot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
DingTalk Bot是阿里釘釘自定義機器人的Ruby庫. 一般情況下,您很少機會在您的網站的訪問日誌看到DingTalkBot的足跡,除非有人在阿里釘釘分享傳播您的網站內容。
官方文件:阿里釘釘自定義機器人.
從rubygems中安裝:
gem install dingbot
新增到Gemfile中:
gem 'dingbot'
初始化客戶端:
# 全域性配置方式 DingBot.configure do |config| config.endpoint = 'https://oapi.dingtalk.com/robot/send' # API endpoint URL, default: ENV['DINGTALK_API_ENDPOINT'] or https://oapi.dingtalk.com/robot/send config.access_token = 'your access token' # access token, default: ENV['DINGTALK_ACCESS_TOKEN'] config.secret = "your sign secret" # sign secret end # 區域性配置方式 DingBot.endpoint='https://oapi.dingtalk.com/robot/send' DingBot.access_token = 'your access token' DingBot.secret = "your sign secret" # sign secret
傳送訊息
# 快速傳送一套只包含文字的Text訊息(不需要構造Message物件)
def send_simple_text
DingBot.send_text('我就是我, 是不一樣的煙火')
end
# 傳送複雜Text訊息
def send_text
message = DingBot::Message::Text.new(
'我就是我, 是不一樣的煙火',
['1371xxxx117'],
false
)
DingBot.send_msg(message)
end
# 傳送Link訊息
def send_link
message = DingBot::Message::Link.new(
'我就是我, 是不一樣的煙火',
'這個即將釋出的新版本,創始人陳航(花名“無招”)稱它為“紅樹林”。',
'https://www.dingtalk.com/',
'https://avatars1.githubusercontent.com/u/64818'
)
DingBot.send_msg(message)
end
# 傳送Markdown訊息
def send_markdown
DingBot.send_markdown('我就是我, 是不一樣的煙火', '### 我就是我, 是不一樣的煙火')
end
# 傳送整體跳轉ActionCard訊息
def send_whole_action_card
message = DingBot::Message::WholeActionCard.new(
'喬布斯 20 年前想打造一間蘋果咖啡廳,而它正是 Apple Store 的前身',
' ### 喬布斯 20 年前想打造的蘋果咖啡廳',
'閱讀全文',
'https://www.dingtalk.com/'
)
DingBot.send_msg(message)
end
# 傳送獨立跳轉ActionCard型別訊息
def send_independent_action_card
message = DingBot::Message::IndependentActionCard.new(
'喬布斯 20 年前想打造一間蘋果咖啡廳,而它正是 Apple Store 的前身',
' ### 喬布斯 20 年前想打造的蘋果咖啡廳',
[
DingBot::Message::ActionBtn.new('內容不錯', 'https://www.dingtalk.com/'),
DingBot::Message::ActionBtn.new('不感興趣', 'https://www.dingtalk.com/')
]
)
DingBot.send_msg(message)
end
# 傳送FeedCard型別
def send_feed_card
message = DingBot::Message::FeedCard.new(
[
DingBot::Message::FeedCardLink.new(
'時代的火車向前開',
'https://avatars1.githubusercontent.com/u/64818',
'https://www.dingtalk.com/'
),
DingBot::Message::FeedCardLink.new(
'時代的火車向前開',
'https://avatars1.githubusercontent.com/u/64818',
'https://www.dingtalk.com/'
)
]
)
DingBot.send_msg(message)
end
更為詳細的用法請見此連結:https://github.com/thierryxing/dingtalk-bot/blob/master/test/dingbot_test.rb