Latest Articles
注目記事
RAGのチャンク分割を評価する方法:サイズ・オーバーラップをPythonで比較
RAGで大きいチャンクと小さいチャンクを比べるとき、どちらにも「上位5件」を渡すと、大きいチャンクの方が多くのテキストをLLMに送れます。サイズとオーバーラップの効果を見るには、回答に必要な根拠を元文書上で指定し、同じ入力予算に収まった部分を比較します。Pythonの標準ライブラリだけで試せる例を使...
RAGの検索精度を評価する方法:Recall@k・MRR・nDCGをPythonで比較
同じ関連文書が上位に入っていても、直接の根拠が1位の場合と3位の場合では、LLMに渡すコンテキストが違います。Recall@kで根拠の取りこぼしを、MRRで最初の関連文書の順位を、nDCGで関連度を加味した並び順を見ます。ここでは3つの質問を使って、リランキングの効果を手元のPythonで分解します...
負荷試験のp99が低く出る理由:Coordinated OmissionをPythonで再現
1件の応答が800 msまで遅くなった負荷試験で、p99は5 msでした。次のリクエストを前の応答まで待つ方式は、遅い間に本来到着するはずだったリクエストを発行しません。一定の到着率を再現したいとき、この観測漏れを coordinated omission と呼びます。
【日本語訳】Metaにおける低リスクなコードレビューの自動化:RADAR・リスク調整・レビュー効率
AIがコードを書く速度が上がると、それを確認する人間のレビューが追いつかなくなります。MetaのRADARは、変更の発生源・リスク・検証結果に応じて、自動化できる変更を選別する仕組みです。 この記事は、Chris Adamsほかによる “Automating Low-Risk Code Review...