
如何做搜尋引擎蜘蛛日誌分析
搜尋引擎蜘蛛日誌檔案是一種非常強大但未被站長充分利用的檔案,分析它可以獲取有關每個搜尋引擎如何爬取網站內容的相關資訊點,及檢視搜尋引擎蜘蛛在一段時間內的行為。
IP地址(25) | 伺服器名稱 | 所屬國家 |
---|---|---|
59.82.84.32 | 59.82.84.32 | CN |
59.82.84.69 | 59.82.84.69 | CN |
59.82.84.40 | 59.82.84.40 | CN |
59.82.84.91 | 59.82.84.91 | CN |
59.82.84.85 | 59.82.84.85 | CN |
59.82.61.23 | 59.82.61.23 | CN |
59.82.61.33 | 59.82.61.33 | CN |
59.82.61.61 | 59.82.61.61 | CN |
59.82.61.19 | 59.82.61.19 | CN |
59.82.61.11 | 59.82.61.11 | CN |
8.142.32.202 | 8.142.32.202 | CN |
39.103.217.225 | 39.103.217.225 | CN |
8.142.156.176 | 8.142.156.176 | CN |
8.142.47.14 | 8.142.47.14 | CN |
8.142.112.208 | 8.142.112.208 | CN |
39.98.123.102 | 39.98.123.102 | CN |
IP地址(3) | 伺服器名稱 | 所屬國家 |
---|---|---|
59.82.21.31 | 59.82.21.31 | CN |
59.82.83.91 | 59.82.83.91 | CN |
59.82.83.75 | 59.82.83.75 | CN |
對於未知蜘蛛或者爬蟲。它的用途對網站來說可能是好的,也可能是壞的,這取決於它是什麼。所以說,這需要站長進一步分析判斷這些尚不明確的爬蟲行為,再作最終決定。 但,根據以往的經驗,未宣告行為目的及未命名的蜘蛛爬蟲,通常都有不可告人的祕密,我們理應對其行為進行控制,比如攔截。
您可以通過在網站的 robots.txt 中設定使用者代理訪問規則來遮蔽 DingTalkBot 或限制其訪問許可權。我們建議安裝 Spider Analyser 外掛,以檢查它是否真正遵循這些規則。
# robots.txt # 下列程式碼一般情況可以攔截該代理 User-agent: DingTalkBot Disallow: /
您無需手動執行此操作,可通過我們的 Wordpress 外掛 Spider Analyser 來攔截不必要的蜘蛛或者爬蟲。
DingTalk Bot是阿里釘釘自定義機器人的Ruby庫. 一般情況下,您很少機會在您的網站的訪問日誌看到DingTalkBot的足跡,除非有人在阿里釘釘分享傳播您的網站內容。
官方文件:阿里釘釘自定義機器人.
從rubygems中安裝:
gem install dingbot
新增到Gemfile中:
gem 'dingbot'
初始化客戶端:
# 全域性配置方式 DingBot.configure do |config| config.endpoint = 'https://oapi.dingtalk.com/robot/send' # API endpoint URL, default: ENV['DINGTALK_API_ENDPOINT'] or https://oapi.dingtalk.com/robot/send config.access_token = 'your access token' # access token, default: ENV['DINGTALK_ACCESS_TOKEN'] config.secret = "your sign secret" # sign secret end # 區域性配置方式 DingBot.endpoint='https://oapi.dingtalk.com/robot/send' DingBot.access_token = 'your access token' DingBot.secret = "your sign secret" # sign secret
傳送訊息
# 快速傳送一套只包含文字的Text訊息(不需要構造Message物件) def send_simple_text DingBot.send_text('我就是我, 是不一樣的煙火') end # 傳送複雜Text訊息 def send_text message = DingBot::Message::Text.new( '我就是我, 是不一樣的煙火', ['1371xxxx117'], false ) DingBot.send_msg(message) end # 傳送Link訊息 def send_link message = DingBot::Message::Link.new( '我就是我, 是不一樣的煙火', '這個即將釋出的新版本,創始人陳航(花名“無招”)稱它為“紅樹林”。', 'https://www.dingtalk.com/', 'https://avatars1.githubusercontent.com/u/64818' ) DingBot.send_msg(message) end # 傳送Markdown訊息 def send_markdown DingBot.send_markdown('我就是我, 是不一樣的煙火', '### 我就是我, 是不一樣的煙火') end # 傳送整體跳轉ActionCard訊息 def send_whole_action_card message = DingBot::Message::WholeActionCard.new( '喬布斯 20 年前想打造一間蘋果咖啡廳,而它正是 Apple Store 的前身', ' ### 喬布斯 20 年前想打造的蘋果咖啡廳', '閱讀全文', 'https://www.dingtalk.com/' ) DingBot.send_msg(message) end # 傳送獨立跳轉ActionCard型別訊息 def send_independent_action_card message = DingBot::Message::IndependentActionCard.new( '喬布斯 20 年前想打造一間蘋果咖啡廳,而它正是 Apple Store 的前身', ' ### 喬布斯 20 年前想打造的蘋果咖啡廳', [ DingBot::Message::ActionBtn.new('內容不錯', 'https://www.dingtalk.com/'), DingBot::Message::ActionBtn.new('不感興趣', 'https://www.dingtalk.com/') ] ) DingBot.send_msg(message) end # 傳送FeedCard型別 def send_feed_card message = DingBot::Message::FeedCard.new( [ DingBot::Message::FeedCardLink.new( '時代的火車向前開', 'https://avatars1.githubusercontent.com/u/64818', 'https://www.dingtalk.com/' ), DingBot::Message::FeedCardLink.new( '時代的火車向前開', 'https://avatars1.githubusercontent.com/u/64818', 'https://www.dingtalk.com/' ) ] ) DingBot.send_msg(message) end
更為詳細的用法請見此連結:https://github.com/thierryxing/dingtalk-bot/blob/master/test/dingbot_test.rb