5 min read

RAGで大きいチャンクと小さいチャンクを比べるとき、どちらにも「上位5件」を渡すと、大きいチャンクの方が多くのテキストをLLMに送れます。サイズとオーバーラップの効果を見るには、回答に必要な根拠を元文書上で指定し、同じ入力予算に収まった部分を比較します。Pythonの標準ライブラリだけで試せる例を使...

5 min read

同じ関連文書が上位に入っていても、直接の根拠が1位の場合と3位の場合では、LLMに渡すコンテキストが違います。Recall@kで根拠の取りこぼしを、MRRで最初の関連文書の順位を、nDCGで関連度を加味した並び順を見ます。ここでは3つの質問を使って、リランキングの効果を手元のPythonで分解します...