5 min read

RAGで大きいチャンクと小さいチャンクを比べるとき、どちらにも「上位5件」を渡すと、大きいチャンクの方が多くのテキストをLLMに送れます。サイズとオーバーラップの効果を見るには、回答に必要な根拠を元文書上で指定し、同じ入力予算に収まった部分を比較します。Pythonの標準ライブラリだけで試せる例を使...

5 min read

同じ関連文書が上位に入っていても、直接の根拠が1位の場合と3位の場合では、LLMに渡すコンテキストが違います。Recall@kで根拠の取りこぼしを、MRRで最初の関連文書の順位を、nDCGで関連度を加味した並び順を見ます。ここでは3つの質問を使って、リランキングの効果を手元のPythonで分解します...

47 min read

AIがコードを書く速度が上がると、それを確認する人間のレビューが追いつかなくなります。MetaのRADARは、変更の発生源・リスク・検証結果に応じて、自動化できる変更を選別する仕組みです。 この記事は、Chris Adamsほかによる “Automating Low-Risk Code Review...