APIを複数台で動かしていると、レプリカごとのp95を並べても、利用者全体のp95は読み取れません。処理件数の多いレプリカと少ないレプリカで、リクエストが占める重みが違うからです。Prometheusでは、各レプリカのバケットを足し合わせ、その分布からp95を一度だけ計算します。分位点そのものの読み方は レイテンシのパーセンタイル入門 を参照してください。
バケット・リクエスト数・単位を確認する
この記事は http_request_duration_seconds というclassic histogramを使います。計測側でこの名前を使い、1リクエストにつき経過時間を秒で1回観測する想定です。service、job、instance などのラベルは環境によって異なります。
| 系列 | 値 |
|---|---|
http_request_duration_seconds_bucket{le="0.3"} | 0.3秒以下だった観測の累積件数 |
http_request_duration_seconds_bucket{le="+Inf"} | 上限なしのバケット。全観測の累積件数 |
http_request_duration_seconds_count | 全観測の累積件数 |
http_request_duration_seconds_sum | 観測した時間の累積和(秒) |
le は上限を含みます。100msの観測は le="0.1" と le="0.3" の両方に数えられるため、累積バケット同士を合計すると二重計上になります。区間 (0.1, 0.3] の件数が必要なら両バケットの差を取ります。集約対象ではバケット境界と単位を揃えます。仕様は
Prometheusのメトリクス型
を参照してください。
サービス全体のp95を集約する
histogram_quantile(
0.95,
sum by (le) (
rate(http_request_duration_seconds_bucket{service="checkout"}[5m])
)
)
rate(...[5m])で、各バケット系列のカウンターを直近5分の1秒あたりの増加率にします。カウンターのリセットは系列ごとに扱われるため、レプリカを合計する前にrateを適用します。sum by (le)で、同じ境界の増加率をレプリカ横断で合算し、leを残します。サービス別に並べるならsum by (service, le)とし、対象のサービスをセレクターで選びます。選択した各系列が同じリクエストを重複して計測していないことを確認します。histogram_quantile(0.95, ...)が合算した分布からp95を秒で推定します。ミリ秒で表示するなら結果を1,000倍します。
5分は評価時刻ごとにさかのぼる窓です。スクレイプ間隔に比べ窓が短いと、系列によっては増加率を計算するサンプルが足りません。低トラフィックで観測数が少ない場合も値が大きく振れるので、リクエスト件数を併記します。詳細は histogram_quantile と rate の仕様を参照してください。
2台のレプリカで計算する
次は、サンプル時刻間で増加率が一定と仮定した例です。表は直近5分の rate の値を示します。
| レプリカ | 100ms以下 | 300ms以下 | 500ms以下 | 全体 |
|---|---|---|---|---|
| A | 88件/秒 | 90件/秒 | 90件/秒 | 90件/秒 |
| B | 0件/秒 | 2件/秒 | 10件/秒 | 10件/秒 |
| 合計 | 88件/秒 | 92件/秒 | 100件/秒 | 100件/秒 |
全体の95%に当たる95件/秒は、300msの92件/秒と500msの100件/秒の間にあります。classic histogramの線形補間では、300 + (500 − 300) × (95 − 92) / (100 − 92) = 375 ms です。この375msは観測値そのものではありません。たとえば500ms以下に入った8件/秒がすべて310msだった場合、実際のp95は310msでも、バケットからの推定は375msのままです。
この例では、レプリカごとの推定p95は約97msと488msで、単純平均は約292msです。リクエスト数で重みを付けてp95を平均しても約136msとなり、全体の375msは再現できません。同じバケットの件数を足してから分位点を求めます。
300ms以内のSLOはバケット比で測る
「対象リクエストの99%が300ms以内」という目標では、300ms以内の件数を対象リクエスト総数で割ります。しきい値とバケット境界が一致していれば、バケット内の分布を補間せず、カウンターの増加率の比で求められます。
sum(rate(http_request_duration_seconds_bucket{service="checkout",le="0.3"}[5m]))
/
sum(rate(http_request_duration_seconds_count{service="checkout"}[5m]))
上の例は 92 / 100 = 0.92 なので、直近5分の達成率は92%です。正式なSLOの評価窓が30日なら、その期間の良いイベント数と総イベント数を increase(...[30d]) の合計で求めて割ります。5分ごとの達成率を単純平均すると、閑散時とピーク時に同じ重みが付きます。成功リクエストだけが対象なら、成功の定義とフィルタを分子と分母で揃えます。エラーもSLOの失敗として数える設計なら、分母は対象全体、分子は成功かつしきい値以下です。
境界・欠測・ゼロ件を切り分ける
- 境界が揃わない: 一部のレプリカだけが
le="0.3"を出すと、分子から他のレプリカが落ちて達成率が低く出ます。集約する全レプリカで同じ境界を出し、境界変更の展開中は混在する系列を分けます。300msのバケットが全くなければ分子は空になります。 - リクエストがゼロ: スクレイプが成功して系列が存在しても、観測ゼロなら比は
0/0でNaNです。p95もNaNになります。系列そのものがなければクエリは空になることがあります。グラフには達成率とともにsum(rate(..._count[5m]))を表示し、欠測はupや対象数など別の指標で確かめます。部分欠測は、全体の値が表示されていても発生します。 - p95が最大有限境界に張り付く: p95が
+Infバケットに入ると、classic histogramのhistogram_quantileは最大有限境界を返します。最大境界が500msなら、結果が500msというだけでは、500msよりどれほど遅いか分かりません。最上段に入った件数を+Infと最大有限境界との差で調べます。
しきい値そのものを追うSLOには、その秒数の境界を計測側に置きます。p95も読みたい場合は、ふだん分位点が入る付近に境界を配置し、粗いバケットの補間誤差を減らします。SLO用のバケット設計は Prometheusのヒストグラムとサマリーのガイド も参考になります。
よくある質問
複数レプリカのp95はどう計算しますか?
各バケット系列にrateを適用し、sum by (le)で足してからhistogram_quantileを実行します。サービス別に結果を出すならsum by (service, le)にします。
300ms以下のリクエスト率はどう測りますか?
300msのバケット境界がある場合、le=“0.3"のバケットのrateを合計し、同じ対象・同じ期間の_countのrate合計で割ります。秒単位のメトリクスでは0.3が300msです。
トラフィックがないときはどう表示しますか?
観測数がゼロならp95と閾値達成率は定義できません。ゼロや100%に置き換えず、リクエスト数とスクレイプの状態を別に表示して、無通信と欠測を区別します。