RAGで大きいチャンクと小さいチャンクを比べるとき、どちらにも「上位5件」を渡すと、大きいチャンクの方が多くのテキストをLLMに送れます。サイズとオーバーラップの効果を見るには、回答に必要な根拠を元文書上で指定し、同じ入力予算に収まった部分を比較します。Pythonの標準ライブラリだけで試せる例を使い、根拠の取りこぼしと重複の両方を測ります。
分割前の文書に正解を付ける
質問ごとに、回答に必要な原文中の範囲を「根拠スパン」として記録します。各スパンには文書ID、文書の版、開始位置と終了位置を持たせます。位置は、たとえば固定した原文の文字位置を開始込み・終了なしの [start, end) で記録し、評価時に同じトークナイザーで元文書のトークン位置に対応させます。前処理やトークナイザーが異なる場合も比較できるよう、正規化後のチャンクから元文書に戻れる対応を保存します。
「保管日数と暗号化の条件は何か」という質問には、離れた複数のスパンを付けられます。同じ問いに答えられる手順書が複数ある場合は、代替可能な根拠の組を別々に登録します。いずれか一組が揃えば回答可能とし、同じ説明のコピーをすべて集める条件にしないようにします。以下の例では各質問に必須のスパンの組が一つあります。
チャンクIDを固定できる検索器・リランカー比較は、 Recall@k・MRR・nDCGによるRAGの検索評価 で扱っています。元文書上の位置を使ってトークン単位で根拠の取得を評価する方法は、Chromaの技術報告でも使われています。 Evaluating Chunking Strategies for Retrieval
同じ入力予算でLLMに渡る内容を測る
文書の版、質問、埋め込みモデル、検索・リランキングの設定、コンテキストの組み立て方を揃えます。分割方式ごとにインデックスを作り直し、候補件数の上限も記録します。候補の上限に頻繁に達する場合は、上限を変えて再評価すると、分割の影響と候補不足を見分けやすくなります。
本番に合わせるなら、固定プロンプトや質問、想定する出力の余裕を差し引いて根拠に使える上限を決めます。文書タイトルや区切り、出典情報を添える場合は、それらを含めて生成モデルのトークナイザーで実際に送る入力を数えます。長いチャンクの切り詰め、近接チャンクの結合、重複除去を行う場合も、送信直前のテキストから原文上の位置を求めます。
- 根拠カバー率は、入力に残った根拠トークンの位置数を、必要な根拠の位置数で割った値です。同じ原文位置は一度だけ数えます。
- 全根拠の取得率は、必要な根拠位置がすべて残った質問の割合です。回答に二つの根拠が必要な問いで、一方だけ届いた場合を区別できます。
- 使用トークン数と重複トークン数は、同じ位置を含むチャンクを複数送ったときの予算消費を表します。隣接チャンクの同じ原文位置が何回余分に送られたかを数えます。
最初の二つは根拠位置の集合を使うため、段落の並びやスパンの連続性は測りません。検索順や分割位置の違いが回答に影響するかは、同じ条件で生成した回答と引用も確認します。
Pythonでサイズとオーバーラップを比較する
空白区切りの語をトークンとみなし、原文上の位置を0から数えます。検索は質問との共通語数が多い順で、同点なら原文の出現順です。予算はどの条件も質問1件につき12トークンに固定し、残りに入らないチャンクは飛ばします。ヘッダーや区切りを送らない実験なので、予算の消費は本文の語数だけで数えます。
from statistics import mean
source = (
"intro read the guide before backups retain seven daily snapshots "
"encrypt archives after each export verify checksums weekly"
).split()
questions = [
("backups retain seven daily snapshots", [(5, 10)]),
("encrypt archives verify checksums", [(10, 12), (15, 17)]),
]
budget = 12
def split_chunks(size, overlap):
for start in range(0, len(source), size - overlap):
end = min(start + size, len(source))
yield start, end
if end == len(source):
break
def evaluate(chunks, question, spans):
terms = set(question.split())
ranked = []
for start, end in chunks:
score = len(terms.intersection(source[start:end]))
if score:
ranked.append((-score, start, end))
covered = set()
used = 0
for _, start, end in sorted(ranked):
length = end - start
if length > budget - used:
continue
covered.update(range(start, end))
used += length
gold = {index for start, end in spans for index in range(start, end)}
return len(gold & covered) / len(gold), gold <= covered, used, used - len(covered)
print("size overlap coverage complete used duplicate")
for size, overlap in [(6, 0), (6, 2), (9, 0), (9, 3)]:
chunks = list(split_chunks(size, overlap))
results = [evaluate(chunks, question, spans) for question, spans in questions]
coverage, complete, used, duplicate = map(mean, zip(*results))
print(
f"{size:4} {overlap:7} {coverage:8.3f} {complete:8.3f}"
f" {used:4.1f} {duplicate:9.1f}"
)
size overlap coverage complete used duplicate
6 0 1.000 1.000 12.0 0.0
6 2 1.000 1.000 12.0 2.0
9 0 0.900 0.500 9.0 0.0
9 3 0.650 0.000 9.0 0.0
coverage は質問別の根拠カバー率の平均、complete は全根拠の取得率です。used と duplicate も質問ごとの平均を出しています。回答可能な質問で検索結果が空なら、根拠カバー率と全根拠の取得判定はともに0になります。
サイズ6ではオーバーラップを2にしても、カバー率は同じで、入力に重複が2トークン増えます。サイズ9・オーバーラップ3で2問目を検索すると、暗号化を含む9トークンのチャンクとチェックサムを含む6トークンのチャンクが同点になります。原文順で9トークンの方を先に入れるため、チェックサムは残り3トークンに収まりません。チャンクの大きさ、同点時の順序、予算に合わせる処理が合わさって生じる差です。
実データでは、単一箇所で解ける質問と複数箇所が必要な質問を両方含め、全根拠を取得できるようになった質問と悪化した質問を個別に確認します。境界付近の根拠が抜けているときは、オーバーラップ以外に見出しや段落を使う分割も候補になります。取得率が同程度なら、平均入力トークンに加え、インデックスのチャンク数や検索の応答時間を比較できます。
よくある質問
チャンクサイズの比較にRecall@kは使えますか?
同じ分割で検索器を比較する場合に使えます。異なる分割では、元文書上の根拠位置とLLMに渡すトークン予算を揃えると、結果を直接比較できます。
オーバーラップで複製された根拠はどう数えますか?
同じ元文書上の位置はカバー率では一度だけ数えます。LLMに重複して送った分は入力予算と重複トークン数に計上します。
根拠をすべて取得できたら回答も正確ですか?
根拠の取得状況と回答の正確性は別々に評価します。分割された根拠をLLMが結び付け、正しく回答できるかも確認します。