負荷試験のp99が低く出る理由:Coordinated OmissionをPythonで再現

一定の到着率と応答待ちの負荷試験を比較し、サーバー停止中の待ち時間がp99から抜ける理由をPythonのシミュレーションで確かめます。

1件の応答が800 msまで遅くなった負荷試験で、p99は5 msでした。次のリクエストを前の応答まで待つ方式は、遅い間に本来到着するはずだったリクエストを発行しません。一定の到着率を再現したいとき、この観測漏れを coordinated omission と呼びます。

p95・p99の読み方 を踏まえ、ここでは同じ処理停止を、2種類の負荷モデルで計測します。

到着間隔を処理時間から切り離す

閉ループのテストでは、仮想ユーザーは前の処理が完了してから次を始めます。利用者が画面の応答を待ってから次の操作をする場面には自然です。多数の独立した利用者が毎秒一定数のリクエストを送る場面では、応答が遅くなると試験側の送信も減り、混雑時の待ち行列が測定から抜けます。

開ループでは、例えば20 msごとに到着を予定し、直前の処理が終わっていなくても次のリクエストを予定どおりに到着させます。ここでのレイテンシは、到着から完了までです。処理開始から完了だけを計ると、キューの待ち時間が消えます。

10秒間の処理をシミュレーションする

サーバーは1件ずつ処理し、通常は5 ms、開始時刻が2,000〜2,019 msの処理は800 msとします。閉ループは1ユーザーで20 msより短い間隔では送信せず、応答を待ちます。固定到着のモデルは20 msごとに1件を投入します。集計対象は10秒未満に到着したリクエストで、完了まで追跡します。パーセンタイルには nearest rank を用います。

from math import ceil

DURATION_MS = 10_000
INTERVAL_MS = 20


def serve(arrival, available):
    start = max(arrival, available)
    service = 800 if 2_000 <= start < 2_020 else 5
    finish = start + service
    return finish, finish - arrival


def closed_loop():
    arrival = 0
    latencies = []
    while arrival < DURATION_MS:
        finish, latency = serve(arrival, arrival)
        latencies.append(latency)
        arrival = max(arrival + INTERVAL_MS, finish)
    return latencies


def fixed_arrivals():
    available = 0
    latencies = []
    for arrival in range(0, DURATION_MS, INTERVAL_MS):
        available, latency = serve(arrival, available)
        latencies.append(latency)
    return latencies


def percentile(values, p):
    return sorted(values)[ceil(p / 100 * len(values)) - 1]


for name, values in (
    ("closed", closed_loop()),
    ("fixed", fixed_arrivals()),
):
    print(name, len(values), *(percentile(values, p) for p in (50, 95, 99)))
負荷モデル到着件数p50p95p99
応答待ち4615 ms5 ms5 ms
固定到着5005 ms425 ms725 ms

応答待ちでは、2,000 msに送ったリクエストが2,800 msに完了し、その間に39件分の送信機会を失います。固定到着では、2,020 msに来たリクエストが2,800 msまで待ち、2,805 msに完了するため785 msを記録します。遅い1件がキューの後続にも影響することで、p95とp99に差が出ます。この数値は処理を直列化したモデルの結果で、実サービスの応答時間を予測するものではありません。

本番に近い条件で比較する

  1. 負荷の目的を決める。一定の到着率を想定するなら arrival-rate 方式を選び、同時利用者が応答を待つ想定なら閉ループで測ります。 k6の負荷モデル
  2. 予定・開始・完了を記録する。負荷生成側で遅延や発行漏れが発生した場合も拾えるよう、予定から実際の開始までと、開始から完了までを分けます。
  3. 到着・失敗・タイムアウトを数える。負荷生成器の並行枠が足りず実行できない予定も、成功サンプルとは別に報告します。成功した応答のp99だけでは、成功率の低下は見えません。
  4. サービス側のヒストグラムと照合する。サーバー内部で測れない待ち時間があるため、外から計った値も保持します。 Prometheusのp95とSLO集計

よくある質問

なぜ閉ループのp99が低く見えるのですか?

遅い応答を待つ間に新しいリクエストが発行されず、その間に生じるはずの待ち時間が測定に入らないためです。

閉ループの負荷試験が適しているのはどんな場合ですか?

一定数の利用者が応答を待ってから次の操作をする挙動を再現する場合です。

開ループにすれば遅延を正しく計れますか?

到着予定から完了までを追い、負荷生成器が発行できなかった処理やタイムアウトも集計してください。