同じ関連文書が上位に入っていても、直接の根拠が1位の場合と3位の場合では、LLMに渡すコンテキストが違います。Recall@kで根拠の取りこぼしを、MRRで最初の関連文書の順位を、nDCGで関連度を加味した並び順を見ます。ここでは3つの質問を使って、リランキングの効果を手元のPythonで分解します。
RAGの基本構成は RAGの仕組みと構築手順 を参照してください。ここで使う正解は、人が回答の根拠になると判断したチャンクです。近似最近傍検索を評価するために、厳密なベクトル検索の上位結果との一致率を測る場合は、別に集計します。
指標を選ぶ
| 指標 | 1問ごとの計算 | 確認したいこと |
|---|---|---|
| Recall@k | 上位k件の関連チャンク数 ÷ 既知の関連チャンクの総数 | 複数の根拠を拾えているか |
| Hit@k | 関連チャンクが1件以上あれば1、なければ0 | 少なくとも1件は拾えているか |
| RR@k | 最初の関連チャンクの順位の逆数。圏外なら0 | 最初の手掛かりが何位か |
| nDCG@k | 上位k件の割引累積利得 ÷ 理想順位での同じ値 | 重要な根拠が上位に集まっているか |
MRR@kは質問ごとのRR@kの平均です。nDCGの例では、順位を1始まりとして、各順位の利得を (2**関連度 - 1) / log2(順位 + 1) で計算します。理想順位は取得結果だけを並べ替えて作ると、そもそも取得できなかった根拠が分母から抜けます。質問に対して判定済みのチャンクを関連度順に並べ、先頭k件から作ります。利得の定義には複数の流儀があり、ここでは
TREC Web Trackの定義
を使います。
正解データを用意する
質問ごとに、コーパスの版、安定したチャンクID、関連度、判断理由を記録します。ここでは関連度2を「回答の直接的な根拠」、1を「役に立つ補足」、0を「根拠にならない」とします。二値指標では1と2の両方を関連とみなします。直接の根拠だけを測りたいときは、判定条件を揃えた別の集計を用意します。
検索方式を比較する場合は、両方式から候補を集めて人が判定すると、片方の検索方式だけが見つけた根拠を評価に含められます。判定していない結果は本例では利得0として扱いますが、実データでは未判定の割合も確認してください。チャンク分割を比較するなら、分割前の文書と根拠箇所を記録し、新旧のチャンクに対応付けます。ひとつの根拠が重複チャンクに増えただけで、検索性能が上がったように見えるのを防げます。
Pythonでリランキングを比較する
標準ライブラリだけで実行できます。各質問の上位2件を評価し、関連チャンクが判定済みの質問は、検索結果が空でも平均に含めます。
from math import log2
from statistics import mean
# 2: direct evidence, 1: relevant supporting evidence.
qrels = {
"q1": {"policy": 2, "exceptions": 1},
"q2": {"steps": 2},
"q3": {"limits": 2},
}
runs = {
"baseline": {
"q1": ["noise", "exceptions", "policy"],
"q2": ["steps", "noise"],
"q3": [],
},
"reranked": {
"q1": ["policy", "noise", "exceptions"],
"q2": ["noise", "steps"],
"q3": [],
},
}
def dcg(grades):
return sum(
(2**grade - 1) / log2(rank + 1)
for rank, grade in enumerate(grades, start=1)
)
def score(ranking, grades, k):
if k <= 0 or len(set(ranking)) != len(ranking):
raise ValueError("Use a positive k and unique ranked IDs")
relevant = {doc for doc, grade in grades.items() if grade > 0}
if not relevant:
raise ValueError("Evaluate unanswerable queries separately")
top = ranking[:k]
hits = len(relevant.intersection(top))
rr = next(
(1 / rank for rank, doc in enumerate(top, 1) if doc in relevant),
0.0,
)
ideal = dcg(sorted(grades.values(), reverse=True)[:k])
actual = dcg(grades.get(doc, 0) for doc in top)
return hits / len(relevant), rr, actual / ideal
for name, run in runs.items():
scores = []
for query, grades in qrels.items():
result = score(run[query], grades, k=2)
scores.append(result)
print(name, query, *(f"{value:.3f}" for value in result))
print(name, "macro", *(f"{mean(col):.3f}" for col in zip(*scores)))
| 比較 | 質問 | Recall@2 | RR@2 | nDCG@2 |
|---|---|---|---|---|
| 当初 | q1 | 0.500 | 0.500 | 0.174 |
| 再順位付け | q1 | 0.500 | 1.000 | 0.826 |
| 当初 | q2 | 1.000 | 1.000 | 1.000 |
| 再順位付け | q2 | 1.000 | 0.500 | 0.631 |
| 両方 | q3 | 0.000 | 0.000 | 0.000 |
全質問の平均では、Recall@2とMRR@2はどちらも0.500です。nDCG@2は0.391から0.486へ上がりました。内訳を見ると、q1では直接の根拠が1位に上がり、q2では逆に2位へ下がっています。q3は候補が空なので並べ替えで解決できません。全体平均と一緒に質問別の差分を保存すると、こうした退行を追えます。この3問は指標の挙動を示す例です。モデルの採用判断には実際の質問で同様に計測します。
改善箇所を切り分ける
- 検索候補。候補上位50件などでRecallを測ります。根拠がなければ、索引への収録、検索条件、チャンク分割、キーワード検索とベクトル検索の候補を確認します。
- リランキング。同じ候補から選ぶ上位5件などを固定し、RecallとnDCGの両方を比較します。複数の根拠が必須の質問では、全必須の根拠が揃った質問の割合も測ります。
- LLMに渡すコンテキスト。トークン上限を適用したあとのチャンクIDを記録します。途中で切り詰めるなら、実際に残った根拠箇所まで確認します。
- 回答。根拠がある質問の正答と引用、根拠のない質問での適切な回答保留を分けて確認します。
質問集合とコーパスの版、関連度の判定規則、k、コンテキスト予算を揃えて比較します。検索時間とLLMに渡したトークン数も残すと、検索精度の改善にどれだけの費用がかかったか確認できます。
分割方法も比較する場合は、元文書上の根拠位置と入力予算を固定します。 チャンク分割を変えたときのRAG検索評価
よくある質問
Recall@kとHit@kはどう違いますか?
Recall@kは既知の関連文書のうち上位k件に入った割合です。Hit@kは関連文書が上位k件に一つでもあったかを数えます。
Recall@kが同じでもリランキングは評価できますか?
できます。最初の関連文書の順位にはMRR、複数の文書の関連度と掲載順にはnDCGを使います。
RAGの検索評価が高ければ回答も正確ですか?
回答の正確性は別途評価します。検索後に根拠が削られたり、LLMが根拠を誤って解釈したりする可能性があります。