P95とP99は、平均値によって隠れてしまう可能性のある処理速度の遅いクエリを可視化します。1つの P95 簡単に言えば、選択されたクエリの約95パーセントが超えない所要時間を表しています。この数値が示す意味は、測定ポイント、期間、および記録されたクエリ数によって異なります。 ヒストグラムはこれに関する推定値を提供しますが、その精度は分解能に依存します。信頼性の高い運用状況の把握には、クエリの処理量やエラー率も考慮に入れる必要があります。パーセンタイルだけでは、遅延の原因も、個々のユーザーの体験も説明できません。
レイテンシ測定で把握される内容
レイテンシ指標は、以下の条件を満たして初めて理解できるものです。 測定ポイント 明らかである。リバースプロキシは、サービスへのリクエストが通過する際の所要時間を計測できるが、一方、アプリケーションは自身の処理内の一区間を計測する。それぞれに含まれるステップは、計測の開始点と終了点によって異なる。
ブラウザでの測定では、クライアントとサーバー間の経路の一部や、クライアント側での処理も捕捉できます。ここでも、測定の開始点と終了点は具体的な計測設定によって決まります。したがって、サーバーの遅延が低いというだけでは、そのページがブラウザ上で高速に利用できるとは限りません。ネットワーク通信や端末側での処理に、さらに時間がかかる可能性があるからです。
同様に、 母集団 明確にしておくこと:対象はサービス全体のリクエストか、それとも特定のエンドポイントか?サービス全体の分布は、個々のエンドポイントの分布とは異なる場合がある。また、分析対象が5分間の移動ウィンドウか、それより長い期間か、そして値が秒単位かミリ秒単位で表示されるかも明記しておくこと。
成功したリクエストと失敗したリクエストも、この定義に含まれます。リクエストが宛先に到達しなかった場合でも、エラーが迅速に返されることで、レイテンシの分布が改善されることがあります。成功とエラーを別々に表示することで、こうしたケースを特定しやすくなります。さらに、エラー率は独立した運用指標として維持されます。
開発ブランチにおけるOpenTelemetryの規約では、HTTPサーバーについて、リクエスト所要時間のヒストグラム(単位:秒)が定義されています。しかし、これをもって、特定のインストール済みバージョンがこれをサポートしている、あるいは同じ名前でエクスポートしているとは限りません。 ダッシュボードを構築する前に、ご自身の環境において実際のメトリック名と利用可能な属性を確認してください。
P95とP99の正しい読み方
A パーセンタイル 選択された分布内の境界を表します。 P95が400ミリ秒の場合、簡単に言えば、対象となるリクエスト時間の約95パーセントが、この値以下となります。P99は、さらに遅い側へと視点を移し、それに応じて、観測値の約99パーセントに対する境界を表します。
| キーパーソン | ステートメント | その主張の限界 |
|---|---|---|
| 平均 | 合計所要時間をリクエスト数で割った値 | 個々の高速および低速なクエリの分布を隠蔽する |
| P50 | 観測された持続時間の約半分に対する上限 | 上端がどれほど遅いのかについては説明されていない |
| P95 | 観測された持続時間の約95パーセントにおける上限 | 境界線より上での緩やかな変化は、単一の値だけでは把握できない |
| P99 | 観測された持続時間の約99パーセントに対する上限 | 観測数が少ない場合、個々の値に大きく左右される可能性がある |
これらのパーセンテージは測定値に基づくものであり、直接的に特定のユーザーやセッションを指すものではありません。あるユーザーは複数のリクエストを送信する一方で、別のユーザーは1回しか送信しない場合もあります。したがって、P99の数値だけから、ユーザーの1%が遅延のあるセッションを経験したと結論づけることはできません。
また、正確な境界は計算方法によっても異なります。測定値が同じ場合、あるいは目的の位置が2つの観測値の間に位置する場合、量子位の定義によって選択や補間の方法が異なることがあります。 推定されたヒストグラム値の場合、バケットへの分類が加わるため、表示された値が必ずしも実際に観測された個々の持続時間であるとは限りません。
ホスティングの監視において、パーセンタイルにはリクエスト数とエラー率が含まれます。リクエスト数が少ない場合と多い場合では、同じP99値の解釈が異なります。リクエスト数がなければ、その安定性を評価するのは困難です。 また、エラー率は、単純な持続時間分布だけでは確実に反映されない側面も示しています。
ヒストグラムによるパーセンタイルの推定方法
従来のプロメテウス・ヒストグラムは、すべてのリクエスト所要時間のソート済みリストを保存するわけではありません。それは、 累積バケット: 特定の上限値を持つバケットには、それより低いバケットにすでに含まれている観測値も含まれる。これらの計数から、探しているパーセンタイルが分布のどの範囲にあるかを推定することができる。
探している位置が200ミリ秒から500ミリ秒の範囲内にあると仮定します。 ヒストグラムは、これらの境界値までの観測値の数を示していますが、その間の正確な分布は示していません。従来のヒストグラムの場合、Prometheusはこのバケット内の位置を線形補間によって推定します。
この推定値は、実際の個々の値とは異なる場合があります。特に、業務上重要な閾値を中心とした広いバケットでは、不確実性の余地が大きくなります。観測値は、その範囲内で、補間時に想定されたものとは異なる分布を示す可能性があるからです。 関連する範囲の境界を狭めることで分解能は向上しますが、その分、データ収集の負担が増加します。
ネイティブヒストグラムは、従来のバケット時系列とは異なる表現方法を採用しています。その分位数も推定値であり、 補間 これは、使用するスキーマやバケットによって異なります。したがって、従来のヒストグラムとネイティブヒストグラムを、保存方法が同じで、常に同じ補間ルールが適用されるかのように扱うべきではありません。
Quantileは、計測済みのプロセスにおいてすでにサマリーを算出することができます。しかし、これらの算出済みの分位値は、後から複数のプロセスの正しい総合分位値として統合することはできません。 そのため、インスタンスを横断して評価を行う場合には、集計可能なヒストグラムデータの方が適切な基盤となる場合が多く、その際、バケットの境界は、目的とする集計方法に合致している必要があります。
平均値が外れ値を隠してしまう場合
説明用の計算例(実測値ではありません):ある時間枠において、95件のリクエストがそれぞれ100ミリ秒、さらに5件のリクエストがそれぞれ2,000ミリ秒かかっています。 100件の観測値はすべて、同じ選択された母集団に属しています。この例は指標を比較するためのものであり、ホスティングシステムの性能を証明するものではありません。
ここでは、パーセンタイルについて具体的な 選定基準: それぞれ、指定された割合以上のリクエストが含まれる、あるいはそれ以下の、観測された最小値を求めます。ソートした結果、最初に100ミリ秒の値が95件、その後に2,000ミリ秒の値が5件並んでいます。
| キーパーソン | 計算または選択 | 結果 |
|---|---|---|
| 平均 | (95 × 100 ms + 5 × 2,000 ms) / 100 | 195ミリ秒 |
| P95 | 95. ソート済み値 | 100ミリ秒 |
| P99 | 99. ソートされた値 | 2,000 ms |
仝 平均 これは、5件の低速クエリの所要時間よりも明らかに短い。この値は、それらのクエリにかかる余分な時間を計算上、すべての観測結果に均等に割り振ったものである。したがって、この値だけを見ていても、低速クエリの所要時間がどれほどか、またその影響を受けるクエリがいくつあるかを直接把握することはできない。
ここではP95が100ミリ秒となっていますが、リクエストの5%はそれの20倍の時間を要しています。 処理に時間がかかった観測値は、選択されたP95の閾値のすぐ上に位置しており、この例ではP99によってそれらが可視化されています。ただし、これはP99が一般的にすべての関連する遅延を捕捉していることを意味するわけではありません。
他の分位点の定義では、並べ替えられた値の間を補間するため、異なる結果が得られる場合があります。また、ヒストグラムのバケットから推定されたパーセンタイルも、個々の値から選択されたものとは一致しない場合があります。したがって、表示された値を解釈する際には、その算出方法、クエリ数、および対象となる時間枠も考慮に入れる必要があります。
PromQL を使用した P95 の照会
以下のクエリを実行するには、Prometheusデータソースへのアクセス権と、実際に存在するリクエスト時間のクラシックヒストグラムが必要です。この式を、Prometheusの式ブラウザまたはGrafanaのPrometheus用クエリフィールドに入力してください。 このクエリは既存の時系列データを読み取るものであり、ターミナルコマンドでも設定変更でもありません。
メトリック名はプレースホルダーです。必要に応じて、これを自社の計測環境の名前に置き換え、選択した時系列のバケット境界が互換性があるかどうかを確認してください。この例では、追加のフィルターを適用せずに残りのすべてのラベルについて集計を行うため、この選択が運用上の質問に合致する場合にのみ、希望する合計値が得られます。
まず計算します rate 累積バケットカウンターから、5分間の移動ウィンドウにおけるその変化率を算出する。その後、合計する sum by (le) その他のラベルの発生率。この順序により、発生率の算出時に個々の時系列のカウンターリセットを反映させることができます。
レーベル le これはそのまま維持される:これは各バケットの上限を示す。統合された分布から、 histogram_quantile その P95合計. ここで採用している秒単位の測定基準では、結果も秒単位で示されています。したがって、0.4は400ミリ秒に相当します。
P99の場合は、最初のパラメータを置き換えてください 0.95 を通して 0.99。適切なラベルフィルターを使用すれば、例えば特定のサービスを選択することができます。さらに、グループ化ラベルを追加することで、結果を分けて表示することも可能です。どのクエリが対象となっているか、また対象領域に対してバケットの分解能が十分かどうかを、その都度確認してください。
のために ネイティブヒストグラム ここでは別のクエリ構文が適用されます。従来の個別の _bucket-シリーズ(以下を含む) le. ネイティブのヒストグラムが利用可能かどうか、またそのエクスポート方法については、使用しているコンポーネントやバージョンによって異なります。
インスタンスとリクエストグループを比較する
キャッシュヒットと動的呼び出しを合わせたP99値は、選択されたリクエスト全体の状況を示すものです。しかし、どのグループに変化があったのかについては説明できません。高速なキャッシュヒットの割合が変化した場合、個々のグループの処理速度が必ずしも低下したわけではなくても、合計値は変化する可能性があります。
したがって、総計値に、専門的に関連する項目ごとの内訳を追加してください。 問い合わせグループ、適切なラベルが存在する場合に限ります。限定的なルート名やキャッシュステータスなどが、この目的で役立つことがあります。一方、個別のURLやユーザーIDをラベルとして使用すると、非常に多くの時系列データが生成される可能性があります。具体的な疑問に答えられるような次元を選択してください。
複数のインスタンスにわたる総合パーセンタイルを算出する場合、互換性のある従来のヒストグラムでは、まず各境界ごとのバケットカウント、あるいはその発生率を統合します。この統合された分布に基づいて初めて、クアンタイルが推定されます。 個々のインスタンスのP99値を平均化しても、分布やクエリ数が異なる可能性があるため、一般的には正しい全体的なP99値は得られません。
| データ形式 | 集計と精度 | データ処理の負担 |
|---|---|---|
| ヒストグラム | 互換性のあるバケットは集計可能。分位数は推定値であり、精度は分解能と表示方法によって異なる。 | 選択した解像度およびラベルの組み合わせごとの時系列データ、あるいはヒストグラムデータ |
| 概要 | 処理中に計算された分位数は、総合分位数として集計できない。精度は設定に依存する。 | プロセスにおける分位数の計算および設定された分位数に関する時系列データ |
| 個別の出来事 | 関連する個々の値が利用可能な場合は、共同評価が可能である。結果は、選択した分位数法によって異なる。 | リクエストごとに1件のデータセットが生成される可能性がある。保存や分析には手間がかかる場合がある |
A 概要 個々のプロセスを把握する上で役立つ場合があります。ただし、そこで既に算出された分位数は、後からすべてのインスタンスに対する正しい分位数として統合することはできません。個々の事象を分析することで、異なるレベルの詳細情報を得ることができますが、そのためには必要な観測データが実際に収集され、利用可能であることが前提となります。
レイテンシ目標とアラームの設定
レイテンシ目標は、明確に定義された母集団があって初めて検証可能となる。したがって、「選定されたリクエストの95%が300ミリ秒以内」という目標には、測定ポイント、対象となるエンドポイント、および評価期間に関する情報が不可欠である。 5分間の測定ウィンドウと1日単位の測定ウィンドウでは、分析できる運用上の課題が異なります。
については 閾値比率 300ミリ秒までの観測数を、観測総数で割ります。 従来のヒストグラムでは、まさにこの境界を持つバケットが適切なカウント値を提供します。時間ウィンドウの場合は、対応するカウントの変化量またはレートを使用します。この割合により、選択した閾値がウィンドウ内で達成されたかどうかが即座にわかります。
300ミリ秒のバケット境界がない場合、バケットカウンターのみでは正確な割合を特定することはできません。それでも、推定P95値は目安となりますが、その精度は分布やバケット境界によって異なります。 したがって、重要な目標閾値については、事前にヒストグラムの設定を確認しておくことが重要です。
また、エラーが目標にどのように反映されるかを明確に定義してください。迅速に回答されたエラーメッセージは、そのままでは良好なユーザー体験としてカウントされるべきではありません。目標の定義によっては、エラーを別途監視したり、ネガティブなイベントとして評価したりすることも可能です。重要なのは、分子と分母が選択した定義に合致していることです。
A アラームの継続時間 これにより、わずかな変動ごとに即座に通知が送信されるのを防ぎます。最小観測回数を設定することで、少数の個別のリクエストがアラームの発動に過度に影響を与えないようにします。これらの値は、トラフィック量やサービスの緊急度に合わせて設定する必要があります。データが欠落している場合は、別途対応が必要です。
ダッシュボードでは、目標達成率、問い合わせ件数、エラー率を並べて表示すると便利です。そうすることで、目標未達が多くの一連の問い合わせに起因するものなのか、それともごく一部のケースによるものなのかを見分けることができます。また、アラートには、どの選択条件と期間によって通知がトリガーされたのかが明確に示されるべきです。
上昇するパーセンタイルを体系的に調査する
P99が上昇した場合は、まずリクエスト量と エンドポイントの組み合わせ. 個々のリクエストグループの所要時間がほとんど変わっていなくても、低速で動的なリクエストが増えると、全体的な数値に変化が生じる可能性があります。逆に、高速なリクエストが減少すると、低速なリクエストの割合が高まる可能性があります。
その後、計測機能でこれらのラベルが提供されている場合は、ルートおよびステータスグループごとに分類したビューを比較してください。 目立つルートは検索範囲を絞り込むことができます。また、エラーグループを分けて表示することで、応答が速いものか遅いものが分布に影響を与えているかも確認できます。個別のURLやユーザーIDではなく、可能な限り限定的なルートカテゴリを使用してください。
その後、同じ期間における負荷、待ち行列、データベース処理時間、エラー率を並行して確認してください。 待ち行列が長くなる一方でP99も上昇している場合は、調査の糸口にはなりますが、それが遅延の原因であるという証拠にはなりません。また、これらの指標が同じサービスおよび同等のリクエストグループに関するものであるかどうかも確認してください。
個々の処理が遅い場合に役立つ 痕跡 また、利用可能であり、かつリクエストのコンテキストと関連付けられている場合に限り、厳選されたログも含まれます。例えば、トレースにより、リクエスト経路のどの区間で時間がかかっているかが判明することがあります。その区間が実際に原因であるかどうかは、その後のさらなる観察に基づいて確認する必要があります。
運用上の疑問点において、メトリクス、ログ、トレースがどのように相互に補完し合うかについては、以下の記事で解説しています。 ホスティングにおけるオブザーバビリティ. キューに関しては、以下のものも メールキュー監視 関連するユースケース:そこではメッセージの配信が問題となっており、HTTPリクエストのレイテンシそのものが直接的な問題ではない。
比較を行う際は、その都度、対象となる時間枠と測定ポイントを明確に記録してください。データベース処理時間とサーバーのレイテンシが同時に高い場合は、さらなる調査が必要となる可能性がありますが、時間的な相関関係だけでは因果関係を証明するものではありません。また、トラフィックや計測設定の変更も、観測された結果に影響を与える可能性があります。
データの品質と経営判断
トラフィックが少ない場合、P99は個々の観測値に強く反応します。 1つのウィンドウでの10件のクエリでは、大量のクエリの場合ほど安定した分類は得られません。そのため、パーセンタイルの横に観測件数を表示してください。アラームについては、利用頻度の低いサービスを監視対象から完全に除外することなく、その重要性を考慮に入れるために、最低件数を設定することが有効です。
A 空のウィンドウ これは、観測されたリクエストがないこと、およびレイテンシがゼロミリ秒ではないことを意味します。ダッシュボード上では、欠落している値や未定義の値を適切に表示し、トラフィックがないこと自体が問題であるかどうかは別途判断してください。そうすることで、データの不足が誤って「応答が特に速い」と解釈されることを防げます。
期間についても、任意にまとめられるわけではありません。5分間のP99は、1日のP99とは異なる期間を表します。 個々の分単位のP99の平均値を算出しても、一般的には日単位のP99にはなりません。日単位の分析を行うには、対象期間における集計可能な分布データが必要となります。
仝 バケットの分解 ヒストグラムが対象の境界をどの程度正確に表現できるかを左右する。境界をより細かく設定することで、関連する領域における推定精度を向上させることができるが、従来のヒストグラムでは追加の時系列データが必要となり、その結果、より多くのメモリを消費することになる。このコストと、具体的な経営判断におけるメリットとを比較検討すること。
継続的な評価においては、各指標が互いに補完し合います。平均値は平均所要時間を表し、P95およびP99は処理が遅い領域を可視化し、閾値比率は具体的に定義されたレイテンシ目標に対する達成度を示します。リクエスト数とエラー率は、これらの値を適切に評価するための文脈を提供します。 測定ポイント、期間、データ品質の確認に代わる単一の指標は存在しません。
出典および専門的な見解
調査状況:
2026年11月16日時点の調査結果に基づく。開発ブランチのOpenTelemetryの規約は、インストール済みのバージョンに対する保証ではない。
https://sre.google/workbook/monitoring/
https://prometheus.io/docs/practices/histograms/
https://github.com/open-telemetry/semantic-conventions/blob/main/docs/http/http-metrics.md
https://prometheus.io/docs/specs/native_histograms/
https://grafana.com/docs/grafana/latest/datasources/prometheus/query-editor/




