RAGの検索精度を評価する方法:Recall@k・MRR・nDCGをPythonで比較

RAGの検索結果をRecall@k・MRR・nDCGで評価し、リランキングの改善と悪化を質問別に比較します。正解データの作り方や、候補取得とLLM入力を切り分ける方法も解説します。

同じ関連文書が上位に入っていても、直接の根拠が1位の場合と3位の場合では、LLMに渡すコンテキストが違います。Recall@kで根拠の取りこぼしを、MRRで最初の関連文書の順位を、nDCGで関連度を加味した並び順を見ます。ここでは3つの質問を使って、リランキングの効果を手元のPythonで分解します。

RAGの基本構成は RAGの仕組みと構築手順 を参照してください。ここで使う正解は、人が回答の根拠になると判断したチャンクです。近似最近傍検索を評価するために、厳密なベクトル検索の上位結果との一致率を測る場合は、別に集計します。

指標を選ぶ

指標1問ごとの計算確認したいこと
Recall@k上位k件の関連チャンク数 ÷ 既知の関連チャンクの総数複数の根拠を拾えているか
Hit@k関連チャンクが1件以上あれば1、なければ0少なくとも1件は拾えているか
RR@k最初の関連チャンクの順位の逆数。圏外なら0最初の手掛かりが何位か
nDCG@k上位k件の割引累積利得 ÷ 理想順位での同じ値重要な根拠が上位に集まっているか

MRR@kは質問ごとのRR@kの平均です。nDCGの例では、順位を1始まりとして、各順位の利得を (2**関連度 - 1) / log2(順位 + 1) で計算します。理想順位は取得結果だけを並べ替えて作ると、そもそも取得できなかった根拠が分母から抜けます。質問に対して判定済みのチャンクを関連度順に並べ、先頭k件から作ります。利得の定義には複数の流儀があり、ここでは TREC Web Trackの定義 を使います。

正解データを用意する

質問ごとに、コーパスの版、安定したチャンクID、関連度、判断理由を記録します。ここでは関連度2を「回答の直接的な根拠」、1を「役に立つ補足」、0を「根拠にならない」とします。二値指標では1と2の両方を関連とみなします。直接の根拠だけを測りたいときは、判定条件を揃えた別の集計を用意します。

検索方式を比較する場合は、両方式から候補を集めて人が判定すると、片方の検索方式だけが見つけた根拠を評価に含められます。判定していない結果は本例では利得0として扱いますが、実データでは未判定の割合も確認してください。チャンク分割を比較するなら、分割前の文書と根拠箇所を記録し、新旧のチャンクに対応付けます。ひとつの根拠が重複チャンクに増えただけで、検索性能が上がったように見えるのを防げます。

Pythonでリランキングを比較する

標準ライブラリだけで実行できます。各質問の上位2件を評価し、関連チャンクが判定済みの質問は、検索結果が空でも平均に含めます。

from math import log2
from statistics import mean

# 2: direct evidence, 1: relevant supporting evidence.
qrels = {
    "q1": {"policy": 2, "exceptions": 1},
    "q2": {"steps": 2},
    "q3": {"limits": 2},
}
runs = {
    "baseline": {
        "q1": ["noise", "exceptions", "policy"],
        "q2": ["steps", "noise"],
        "q3": [],
    },
    "reranked": {
        "q1": ["policy", "noise", "exceptions"],
        "q2": ["noise", "steps"],
        "q3": [],
    },
}


def dcg(grades):
    return sum(
        (2**grade - 1) / log2(rank + 1)
        for rank, grade in enumerate(grades, start=1)
    )


def score(ranking, grades, k):
    if k <= 0 or len(set(ranking)) != len(ranking):
        raise ValueError("Use a positive k and unique ranked IDs")
    relevant = {doc for doc, grade in grades.items() if grade > 0}
    if not relevant:
        raise ValueError("Evaluate unanswerable queries separately")
    top = ranking[:k]
    hits = len(relevant.intersection(top))
    rr = next(
        (1 / rank for rank, doc in enumerate(top, 1) if doc in relevant),
        0.0,
    )
    ideal = dcg(sorted(grades.values(), reverse=True)[:k])
    actual = dcg(grades.get(doc, 0) for doc in top)
    return hits / len(relevant), rr, actual / ideal


for name, run in runs.items():
    scores = []
    for query, grades in qrels.items():
        result = score(run[query], grades, k=2)
        scores.append(result)
        print(name, query, *(f"{value:.3f}" for value in result))
    print(name, "macro", *(f"{mean(col):.3f}" for col in zip(*scores)))
比較質問Recall@2RR@2nDCG@2
当初q10.5000.5000.174
再順位付けq10.5001.0000.826
当初q21.0001.0001.000
再順位付けq21.0000.5000.631
両方q30.0000.0000.000

全質問の平均では、Recall@2とMRR@2はどちらも0.500です。nDCG@2は0.391から0.486へ上がりました。内訳を見ると、q1では直接の根拠が1位に上がり、q2では逆に2位へ下がっています。q3は候補が空なので並べ替えで解決できません。全体平均と一緒に質問別の差分を保存すると、こうした退行を追えます。この3問は指標の挙動を示す例です。モデルの採用判断には実際の質問で同様に計測します。

改善箇所を切り分ける

  1. 検索候補。候補上位50件などでRecallを測ります。根拠がなければ、索引への収録、検索条件、チャンク分割、キーワード検索とベクトル検索の候補を確認します。
  2. リランキング。同じ候補から選ぶ上位5件などを固定し、RecallとnDCGの両方を比較します。複数の根拠が必須の質問では、全必須の根拠が揃った質問の割合も測ります。
  3. LLMに渡すコンテキスト。トークン上限を適用したあとのチャンクIDを記録します。途中で切り詰めるなら、実際に残った根拠箇所まで確認します。
  4. 回答。根拠がある質問の正答と引用、根拠のない質問での適切な回答保留を分けて確認します。

質問集合とコーパスの版、関連度の判定規則、k、コンテキスト予算を揃えて比較します。検索時間とLLMに渡したトークン数も残すと、検索精度の改善にどれだけの費用がかかったか確認できます。

分割方法も比較する場合は、元文書上の根拠位置と入力予算を固定します。 チャンク分割を変えたときのRAG検索評価

よくある質問

Recall@kとHit@kはどう違いますか?

Recall@kは既知の関連文書のうち上位k件に入った割合です。Hit@kは関連文書が上位k件に一つでもあったかを数えます。

Recall@kが同じでもリランキングは評価できますか?

できます。最初の関連文書の順位にはMRR、複数の文書の関連度と掲載順にはnDCGを使います。

RAGの検索評価が高ければ回答も正確ですか?

回答の正確性は別途評価します。検索後に根拠が削られたり、LLMが根拠を誤って解釈したりする可能性があります。