ROUGE：解碼機器生成文字的質量

想象一下，人工智慧可以寫詩、起草法律檔案或總結複雜的研究論文，但我們如何才能真正衡量其有效性呢？隨著大型語言模型 （LLM）模糊了人類和機器生成內容之間的界限，尋求可靠的評估指標變得比以往任何時候都更加重要。

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一款功能強大的工具包，可作為機器生成文字的語言顯微鏡。ROUGE 誕生於文字摘要領域，現已發展成為評估大型語言模型在自然語言處理（NLP）任務中效能的基石指標。它不僅是一種測量工具，還是人工智慧系統的原始輸出與人類交流的細微期望之間的橋樑。

Source: Evaluation Metric

大型語言模型背景下的指標描述

在大型語言模型領域，ROUGE 是一種以精確度為重點的評估指標，可將生成的模型輸出與參考文字或預期響應進行比較。與傳統的精確度指標相比，ROUGE 提供了一種更復雜的評估方法，即 LLM 如何有效地保留預期輸出的結構完整性、語義和重要內容。

ROUGE 使用跳格、n 格和最長公共子序列來評估生成文字（假設）與參考文字（基本事實）之間的重疊程度。在摘要等工作中，回憶比準確更重要，而 ROUGE 則非常有用。ROUGE 優先捕捉參考文字中的所有相關資訊，而 BLEU 則以精確度為重點。不過，ROUGE 並不能完全捕捉語義，因此，即使它能提供有價值的見解，也需要 BERTScore 和 METEOR 等補充指標。

為什麼ROUGE對LLM評估很重要？

對於 LLM，ROUGE 有助於確定生成的回覆與預期的人工撰寫文字的吻合程度。它在以下方面尤其有用

• 文字摘要：檢查摘要在多大程度上保留了原文的關鍵細節。
• 文字生成任務：將聊天機器人或人工智慧助手的回覆與參考答案進行比較。
• 機器翻譯評估：衡量譯文與參考譯文的匹配程度。
• 問題解答系統：評估生成的答案是否包含相關資訊。

用於LLM評估的ROUGE型別

ROUGE 針對文字相似性評估的不同方面提供了多種變體。每種型別都可用於評估不同的語言模型輸出，如摘要、回答或翻譯。以下是 LLM 評估中常用的主要 ROUGE 變體：

Source: Rouge Types

ROUGE-N（N-gram 重疊）

ROUGE-N 衡量生成文字與參考文字之間的 n-gram（連續詞序）重疊度。它被廣泛應用於摘要和翻譯評估。

計算公式：

Source: ROUGE-N

程式碼示例：

from rouge import Rouge  
generated_text = "The cat is sitting on the mat."  
reference_text = "A cat sat on the mat."  
rouge = Rouge()  
scores = rouge.get_scores(generated_text, reference_text)  
print(scores[0]['rouge-1'])  # ROUGE-1 score (unigram overlap)
print(scores[0]['rouge-2'])  # ROUGE-2 score (bigram overlap)

輸出：

{
"rouge-1": {"r": 0.75, "p": 0.6, "f": 0.66},
"rouge-2": {"r": 0.33, "p": 0.25, "f": 0.28}
}

ROUGE-S（Skip-Bigram重疊）

ROUGE-S（Skip-Bigram）測量的是出現順序相同但不一定相鄰的詞對的重疊度。與嚴格的 n-gram 匹配相比，它能更好地捕捉語義相似性。

計算公式：

程式碼示例：

print(scores[0]['rouge-s'])

輸出：

{
    "rouge-s": {"r": 0.55, "p": 0.4, "f": 0.46}
}

ROUGE-W（加權LCS）

ROUGE-W 是 ROUGE-L 的加權版本，對較長的連續匹配序列賦予較高權重。它適用於評估 LLM 生成文字的流暢性和連貫性。

計算公式：

程式碼示例：

print(scores[0]['rouge-w'])

輸出：

{
"rouge-w": {"r": 0.72, "p": 0.58, "f": 0.64}
}

ROUGE-L（最長共同後序列 – LCS）

ROUGE-L 測量參考文字和生成文字之間的最長公共子序列 (LCS)。它有助於衡量句子的流暢性和句法的正確性。

計算公式：

程式碼示例：

print(scores[0]['rouge-l'])

輸出：

{
    "rouge-l": {"r": 0.75, "p": 0.6, "f": 0.66}
}

ROUGE-SU（帶單字詞的Skip-Bigram）

ROUGE-SU 是 ROUGE-S 的擴充套件，它也考慮了單字，使其在評估 LLM 生成的回覆時更加靈活，因為單個單詞的匹配非常重要。

計算公式：

程式碼示例：

print(scores[0]['rouge-su'])

輸出：

{
    "rouge-su": {"r": 0.68, "p": 0.52, "f": 0.59}
}

ROUGE-Lsum（用於總結的LCS）

ROUGE-Lsum 是 ROUGE-L 的一個變體，專門用於評估摘要模型。它計算的是整個文件-摘要對的 LCS，而不是逐句比較。

計算公式：

程式碼示例：

print(scores[0]['rouge-lsum'])

輸出：

{
    "rouge-lsum": {"r": 0.72, "p": 0.59, "f": 0.65}
}

如何使用ROUGE進行LLM評估？

輸入：ROUGE 需要三個主要輸入。

生成文字（假設）

這是模型生成的文字輸出，例如 LLM 生成的摘要或回覆。生成的文字要對照參考文字進行評估，以確定其對關鍵資訊的捕捉程度。假設的質量會直接影響 ROUGE 分數，因為更長、更詳細的回覆可能會獲得更高的召回率，但精確度較低。

參考文字（地面實況）

參考文字是理想或正確的回覆，通常由人類撰寫。它是評估生成文字準確性的基準。在許多情況下，會使用多個參考文字來考慮措辭和用詞的變化。使用多個參考文字可以提供更平衡的評估，因為不同的人工撰寫文字可能會以不同的方式表達相同的意思。

評估引數

ROUGE 允許使用者根據自己的需要指定不同的評估設定。主要引數包括

• N-gram 大小：定義序列中用於重疊比較的單詞數（例如，ROUGE-1 用於單字詞，ROUGE-2 用於雙字詞）。
• LCS（最長共同字尾）權重 ：在 ROUGE-L 計算中調整較長共享詞序列的影響。
• 聚合方法：決定在有多個參考文獻時如何對分數進行平均。常見的方法包括宏觀平均法（對所有參考文獻進行平均）和微觀平均法（在所有例項中按比例考慮出現次數）。

輸出

ROUGE 提供數字分數，顯示生成文字和參考文字之間的相似性。這些分數是根據不同的 ROUGE 變體計算得出的，包括三個主要部分：

• 召回率 (r)– 衡量生成文字中出現了多少參考文字。
• 精確度 (p)– 衡量生成文字與參考文字的匹配程度。
• F1 分數(f)-召回率和精確率的調和平均值，平衡兩個指標。

ROUGE 的典型輸出（Python）如下：

{
    "rouge-1": {"r": 0.75, "p": 0.6, "f": 0.66},
    "rouge-2": {"r": 0.2, "p": 0.16, "f": 0.18},
    "rouge-l": {"r": 0.75, "p": 0.6, "f": 0.66},
    "rouge-s": {"r": 0.55, "p": 0.4, "f": 0.46}
}

其中，ROUGE-L 和 ROUGE-S 為文字相似性提供了更多見解。ROUGE-L 側重於最長共同子序列（LCS），因此有助於評估流暢性和句子結構。另一方面，ROUGE-S（Skip-Bigram）即使在詞對不相鄰的情況下也能測量詞對重疊，從而捕捉到更靈活的措辭。

當有多個參考文字時，計算出的分數會有所不同。在這種情況下，ROUGE 允許使用兩種方法對多個參考文獻進行彙總：

• 宏觀平均法：分別計算每個參考文獻的 ROUGE 分數，然後求平均值。
• 微觀平均法：合併所有參考文獻並對其進行集體評估，給予篇幅較長的參考文獻更多權重。

例如，將多個參考文獻的 ROUGE 分數彙總後，我們可以得到：

Macro-Averaged Scores:
ROUGE-1 F1-score: 0.71  
ROUGE-2 F1-score: 0.21  
ROUGE-L F1-score: 0.67  
ROUGE-S F1-score: 0.51
  
Micro-Averaged Scores:
ROUGE-1 F1-score: 0.72  
ROUGE-2 F1-score: 0.24  
ROUGE-L F1-score: 0.69  
ROUGE-S F1-score: 0.53

在存在多個參考文獻的情況下，這些綜合分數可對模型效能進行更可靠的評估。透過考慮對每個參考文獻一視同仁的宏觀平均值和考慮參考文獻長度變化的微觀平均值，ROUGE 可確保對文字生成質量進行更均衡的評估。

用Python實現ROUGE

現在我們將在 Python 中實現 ROUGE。

步驟 1：匯入庫

from rouge import Rouge

步驟 2：實施示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
class LLMEvaluator:
def __init__(self, model_name):
self.rouge = Rouge()
self.model = AutoModelForCausalLM.from_pretrained(model_name)
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
def evaluate_model_response(self, prompt, reference_response):
# Generate model response
inputs = self.tokenizer(prompt, return_tensors="pt")
output = self.model.generate(**inputs, max_length=100)
generated_response = self.tokenizer.decode(output[0])
# Compute ROUGE scores
rouge_scores = self.rouge.get_scores(generated_response, reference_response)[0]
return {
'generated_response': generated_response,
'rouge_scores': rouge_scores
}

有聚合和無聚合的ROUGE實現

步驟 1：匯入庫

我們首先從 Rouge 軟體包中匯入 Rouge 類，以計算生成文字和參考文字之間的相似性得分。

from rouge import Rouge

步驟 2：示例實現

我們定義了一個 LLMEvaluator 類，用於載入預先訓練好的因果語言模型和標記符。該類可針對給定提示生成回覆，並透過與參考回覆進行比較來計算 ROUGE 分數。

# Example: Single reference text vs. generated text
generated_text = "A cat was sitting on a mat."
reference_text = "The cat sat on the mat."
rouge = Rouge()
# Compute ROUGE scores without aggregation (single reference)
scores = rouge.get_scores(generated_text, reference_text)
print("ROUGE Scores (Without Aggregation):")
print(scores)
# Example with multiple references
reference_texts = [
"The cat sat on the mat.",
"A small cat rested on the mat.",
"A feline was sitting quietly on a rug."
]
# Compute ROUGE scores with aggregation
aggregated_scores = rouge.get_scores(generated_text, reference_texts, avg=True)
print("\nROUGE Scores (With Aggregation across Multiple References):")
print(aggregated_scores)

步驟 3：輸出

無彙總（單一參考）

[
{
"rouge-1": {"r": 0.75, "p": 0.6, "f": 0.66},
"rouge-2": {"r": 0.2, "p": 0.16, "f": 0.18},
"rouge-l": {"r": 0.75, "p": 0.6, "f": 0.66}
}
]
With aggregation (Multiple References)
{
"rouge-1": {"r": 0.78, "p": 0.65, "f": 0.71},
"rouge-2": {"r": 0.25, "p": 0.20, "f": 0.22},
"rouge-l": {"r": 0.80, "p": 0.67, "f": 0.73}
}

ROUGE：度量衡的脫口秀喜劇演員

ROUGE Would Appreciate 的三大翻譯笑話：

• Why did the translator go to therapy? Too many unresolved references!
• What’s a language model’s favorite dance? The N-gram Shuffle!
• How does ROUGE tell a joke? With perfect recall and precision!

除了幽默之外，《ROUGE》在理解機器如何理解語言方面也取得了重大突破。它不僅僅是計算字數，而是捕捉交流的靈魂。

ROUGE的使用案例

• 評估語法總結模型：ROUGE 是總結任務的標準指標。
• 評估 LLM 效能：用於比較 LLM 生成的內容與人類撰寫的參考文獻。
• 機器翻譯評估：有助於衡量與參考譯文的相似性。
• 對話生成：評估聊天機器人和人工智慧對話回覆。
• 自動內容評分：用於教育平臺，評估學生生成的答案。
• 基於文字的問題解答：幫助衡量人工智慧生成的答案與預期答案的一致性。

翻譯輪盤賭挑戰

def translation_detective_game():
translations = [
"The cat sat on the mat.",
"A feline occupied a floor covering.",
"Whiskers found horizontal support on the textile surface."
]    
print("🕵️ ROUGE DETECTIVE CHALLENGE 🕵️")
print("Guess which translation is closest to the original!")
# Simulated ROUGE scoring (with a twist of humor)
def rouge_score(text):
# Totally scientific detective method
return random.uniform(0.5, 0.9)
for translation in translations:
score = rouge_score(translation)
print(f"Translation: '{translation}'")
print(f"Mystery Score: {score:.2f} 🕵️‍♀️")
print("\nCan you crack the ROUGE code?")
translation_detective_game()

ROUGE的侷限性和偏差

現在我們來看看 ROUGE 的侷限性和偏差。

• 表層比較：ROUGE 側重於 n-gram 的重疊，忽略了意義和上下文。
• 同義詞和轉述問題：即使變化保留了意義，也會受到懲罰。
• 偏向長文字：較高的召回率可能會提高分數，卻無法真正提高質量。
• 不能衡量流暢性或語法：不能反映句子的連貫性和可讀性。
• 無法處理事實的正確性：ROUGE 無法驗證生成的內容是否與事實相符。

小結

ROUGE 就像語言模型的 GPS，對導航有用，但無法真正理解旅程。隨著人工智慧不斷推陳出新，我們的評估指標必須從單純的數字計算發展到真正的理解。未來的語言學碩士評估不是計算單詞匹配度，而是捕捉人類交流的本質–意義、創造力和含義。

雖然 ROUGE 為量化文字相似性邁出了關鍵的第一步，但它仍然只是第一步。真正的難點在於建立評估措施，以區分技術上合理的回覆和真正智慧的回覆。隨著語言模型的進步，我們的評估技術也必須進步，從簡單的測量工具發展為複雜的機器文字直譯器。

• ROUGE 是評估大型語言模型 (LLM) 在摘要、翻譯和文字生成任務中輸出結果的關鍵指標。
• 不同的 ROUGE 變體（ROUGE-N、ROUGE-L、ROUGE-S）使用 n-grams、longest common subence 和 skip-bigrams 測量文字相似性。
• ROUGE 優先考慮的是召回率而不是精確度，因此在評估關鍵資訊的保留程度時特別有用。
• 但它也有侷限性，因為它不能完全捕捉語義，需要 BERTScore 和 METEOR 等補充指標。
• ROUGE 的 Python 實現允許開發人員根據人類撰寫的參考文獻對模型生成的文字進行有效評估。