...

Monitorowanie hostingu z wykorzystaniem percentyli: P95 i P99 zamiast samej średniej

P95 i P99 uwidaczniają powolne zapytania, które mogą być maskowane przez wartość średnią. Jedno P95 w uproszczeniu określa czas trwania, którego nie przekracza około 95 procent wybranych zapytań. To, co się za tym kryje, zależy od punktu pomiarowego, okresu oraz liczby zarejestrowanych zapytań. Histogramy dostarczają w tym zakresie szacunków, których dokładność zależy od ich rozdzielczości. Aby uzyskać wiarygodny obraz działania systemu, należy uwzględnić również liczbę zapytań i wskaźnik błędów; sam percentyl nie wyjaśnia ani przyczyny opóźnienia, ani doświadczeń poszczególnych osób.

Co obejmuje pomiar opóźnienia

Wskaźnik opóźnienia ma sens tylko wtedy, gdy Punkt pomiarowy jest oczywiste. Serwer proxy odwrotny może rejestrować czas trwania żądania w momencie jego przekazania do usługi; natomiast aplikacja mierzy odcinek w ramach własnego przetwarzania. To, jakie etapy są w każdym przypadku uwzględniane, zależy od tego, gdzie pomiar się zaczyna i kończy.

Pomiar w przeglądarce może dodatkowo uwzględniać fragmenty trasy między klientem a serwerem, a także przetwarzanie po stronie klienta. Również w tym przypadku o początku i końcu decyduje konkretna konfiguracja narzędzi pomiarowych. Dlatego sama niska opóźnienie serwera nie świadczy o tym, że strona jest szybko dostępna w przeglądarce: transmisja sieciowa i przetwarzanie na urządzeniu końcowym mogą zajmować dodatkowy czas.

Wygenerowany przez sztuczną inteligencję obraz symboliczny przedstawiający gniazdo sieciowe z podłączonym kablem Ethernet, wskazujący na punkt pomiarowy
W grafice symbolicznej wygenerowanej przez sztuczną inteligencję połączenie sieciowe symbolizuje potencjalny odcinek ścieżki żądania.

Umieść również Populacja Określ: Czy chodzi o wszystkie zapytania dotyczące danej usługi, czy o konkretny punkt końcowy? Ogólny rozkład może różnić się od rozkładu dla pojedynczego punktu końcowego. Określ również, czy analiza obejmuje pięciominutowe okno ruchome, czy dłuższy okres, oraz czy wartości są wyświetlane w sekundach, czy w milisekundach.

Definicja ta obejmuje również zapytania zakończone sukcesem i te, które zakończyły się niepowodzeniem. Szybko zgłoszony błąd może poprawić rozkład opóźnień, mimo że zapytanie nie dotarło do celu. Oddzielne widoki dla sukcesów i błędów pomagają zidentyfikować takie przypadki; ponadto wskaźnik błędów pozostaje odrębnym wskaźnikiem operacyjnym.

Konwencja OpenTelemetry w gałęzi rozwojowej opisuje dla serwerów HTTP histogram czasu trwania żądań w sekundach. Nie oznacza to jednak, że konkretna zainstalowana wersja obsługuje tę funkcję lub eksportuje ją pod tą samą nazwą. Przed utworzeniem pulpitu nawigacyjnego sprawdź w swoim środowisku rzeczywistą nazwę metryki oraz dostępne atrybuty.

Jak prawidłowo odczytywać P95 i P99

A percentyl opisuje granicę w obrębie wybranego rozkładu. Jeśli wartość P95 wynosi 400 milisekund, to w uproszczeniu około 95 procent uwzględnionych czasów trwania zapytań jest co najwyżej tak długich. P99 przesuwa punkt widzenia dalej w kierunku wolniejszych wartości: opisuje ono odpowiednio granicę dla około 99 procent obserwacji.

Porównanie średniej i percentyli
Kluczowa liczbaOświadczenieOgraniczenia tego stwierdzenia
średniaSuma czasów trwania podzielona przez liczbę zapytańUkrywa rozkład poszczególnych szybkich i wolnych zapytań
P50Granica dla mniej więcej połowy obserwowanych czasów trwaniaNie opisuje, jak wolno działa górna część
P95Próg dla około 95 procent obserwowanych czasów trwaniaPowolniejsze obserwacje powyżej granicy pozostają niewidoczne w pojedynczej wartości
P99Granica dla około 99 procent obserwowanych czasów trwaniaW przypadku niewielkiej liczby obserwacji może w znacznym stopniu zależeć od poszczególnych wartości

Podane wartości procentowe odnoszą się do wyników pomiarów, a nie bezpośrednio do osób lub sesji. Jedna osoba może generować wiele zapytań, podczas gdy inna wysyła tylko jedno. Na podstawie samego wskaźnika P99 nie można zatem wywnioskować, że jeden procent użytkowników doświadczył spowolnienia podczas sesji.

Dokładna granica zależy ponadto od metody obliczeniowej. W przypadku identycznych wartości pomiarowych lub gdy pożądana pozycja znajduje się pomiędzy dwoma obserwacjami, różne definicje kwantylów mogą wybierać lub interpolować w różny sposób. W przypadku szacowanych wartości histogramu dochodzi jeszcze podział na przedziały; wyświetlana wartość nie zawsze jest zatem faktycznie zaobserwowanym czasem trwania pojedynczego zdarzenia.

W przypadku monitorowania hostingu do percentyla zaliczają się liczba zapytań i wskaźnik błędów. Ta sama wartość P99 należy interpretować inaczej w przypadku niewielkiej liczby zapytań niż w przypadku dużej liczby; bez uwzględnienia liczby zapytań trudno jest ocenić jej stabilność. Wskaźnik błędów uwidacznia ponadto aspekt, którego nie odzwierciedla w sposób wiarygodny sam rozkład czasowy.

W jaki sposób histogramy szacują percentyle

Klasyczny histogram Prometheusa nie przechowuje posortowanej listy wszystkich czasów trwania zapytań. Zlicza on obserwacje w przedziały skumulowane: Przedział o określonym górnym limicie obejmuje również obserwacje, które znajdują się już w niższych przedziałach. Na podstawie tych liczb można oszacować, w jakim obszarze rozkładu znajduje się poszukiwany percentyl.

Załóżmy, że poszukiwana pozycja mieści się w przedziale od 200 do 500 milisekund. Histogram pokazuje, ile obserwacji odnotowano w tych granicach, ale nie przedstawia ich dokładnego rozkładu w tym przedziale. W przypadku klasycznych histogramów Prometheus szacuje pozycję w obrębie tego przedziału za pomocą interpolacji liniowej.

Szacunek ten może odbiegać od rzeczywistych wartości poszczególnych danych. Szczególnie szeroki przedział wokół wartości granicznej istotnej z operacyjnego punktu widzenia pozostawia duże pole dla niepewności: rozkład obserwacji w obrębie tego przedziału może różnić się od założeń przyjętych podczas interpolacji. Węższe granice w istotnych obszarach poprawiają rozdzielczość, ale powodują dodatkowe nakłady związane z gromadzeniem danych.

Ilustracja wygenerowana przez sztuczną inteligencję, przedstawiająca pola o różnej szerokości z kropkami symbolizującymi przedziały histogramu
Ilustracja wygenerowana przez sztuczną inteligencję pokazuje, że szerokie przedziały pozwalają jedynie w ograniczonym stopniu na rozróżnienie poszczególnych obserwacji.

Wbudowane histogramy wykorzystują inną formę przedstawienia danych niż klasyczne szeregi czasowe typu „bucket”. Również ich kwantyle są wartościami szacunkowymi; Interpolacja Zależy to od zastosowanego schematu i segmentu. Dlatego też histogramów klasycznych i natywnych nie należy traktować tak, jakby miały one tę samą strukturę przechowywania danych i zawsze te same reguły interpolacji.

Quantile może obliczyć podsumowanie już w trakcie procesu, w którym zastosowano odpowiednie narzędzia. Gotowych wartości kwantylowych nie da się jednak później połączyć w prawidłowy kwantyl zbiorczy dla kilku procesów. W związku z tym do wspólnej analizy instancji często bardziej odpowiednią podstawą są dane histogramowe, które można agregować; granice przedziałów muszą przy tym odpowiadać pożądanemu podsumowaniu.

Gdy średnia maskuje wartości odstające

Przykład obliczeniowy o charakterze ilustracyjnym, nie jest to pomiar: w danym przedziale czasowym 95 zapytań trwa po 100 milisekund, a pięć kolejnych – po 2 000 milisekund. Wszystkie 100 obserwacji należy do tej samej wybranej populacji. Przykład ten służy do porównania wskaźników i nie stanowi potwierdzenia wydajności systemu hostingowego.

W przypadku percentyli stosujemy tutaj konkretną Zasada wyboru: Poszukujemy najmniejszej zaobserwowanej wartości, przy której co najmniej podany odsetek zapytań mieści się w tym przedziale lub jest mniejszy. Po posortowaniu na początku znajduje się 95 wartości wynoszących 100 milisekund, a następnie pięć wartości wynoszących 2 000 milisekund.

Przykładowe obliczenia dla 100 zapytań, bez pomiaru
Kluczowa liczbaObliczenia lub wybórWynik
średnia(95 × 100 ms + 5 × 2 000 ms) / 100195 ms
P9595. wartość posortowana100 ms
P9999. wartość posortowana2 000 ms

Der średnia jest znacznie krótszy niż łączny czas trwania pięciu powolnych zapytań. Dodatkowy czas tych zapytań rozkłada matematycznie na wszystkie obserwacje. Kto bierze pod uwagę wyłącznie tę wartość, nie jest zatem w stanie ani określić czasu trwania powolnych zapytań, ani od razu ustalić, ile z nich jest nimi objętych.

W tym przypadku P95 wynosi 100 milisekund, mimo że pięć procent zapytań trwa 20 razy dłużej. Powolne obserwacje znajdują się dokładnie powyżej wybranej granicy P95; w tym przykładzie uwidacznia je P99. Nie oznacza to jednak, że P99 ogólnie rejestruje każde istotne opóźnienie.

Inne definicje kwantyli mogą polegać na interpolacji między posortowanymi wartościami, co może skutkować innymi wynikami. Również percentyl oszacowany na podstawie przedziałów histogramu niekoniecznie musi pokrywać się z wartością wybraną spośród pojedynczych wartości. Dlatego przy interpretacji wyników należy uwzględnić metodę obliczeniową, liczbę zapytań oraz rozpatrywany przedział czasowy.

Wysyłanie zapytań do P95 za pomocą PromQL

Aby wykonać poniższe zapytanie, potrzebujesz dostępu do źródła danych Prometheus oraz faktycznie istniejącego klasycznego histogramu czasów trwania zapytań. Wpisz wyrażenie w przeglądarce wyrażeń Prometheus lub w polu zapytań Grafana dla Prometheus. Zapytanie odczytuje istniejące szeregi czasowe; nie jest to ani polecenie terminala, ani zmiana konfiguracji.

Nazwa metryki jest symbolem zastępczym. W razie potrzeby zastąp ją nazwą swojego systemu monitorowania i sprawdź, czy wybrane szeregi czasowe mają zgodne granice przedziałów. W tym przykładzie dane są agregowane bez dodatkowych filtrów dla wszystkich pozostałych etykiet, a zatem pożądana wartość łączna zostanie uzyskana tylko wtedy, gdy ten wybór odpowiada Twojemu zapytaniu operacyjnemu.

Kod
histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))

Najpierw oblicza się rate z skumulowanych liczników przedziałów – ich tempo zmian w pięciominutowym oknie ruchomym. Następnie sumuje się sum by (le) wskaźniki dla pozostałych etykiet. Taka kolejność pozwala uwzględnić zresetowanie liczników poszczególnych szeregów czasowych podczas obliczania wskaźników.

Wytwórnia le pozostaje niezmieniona: określa górną granicę danego przedziału. Na podstawie zagregowanego rozkładu szacuje się histogram_quantile das Łącznie P95. Przy przyjętej tutaj skali sekundowej wynik jest podany w sekundach; 0,4 odpowiada zatem 400 milisekundom.

W przypadku P99 należy zastąpić pierwszy parametr 0.95 poprzez 0.99. Dzięki odpowiednim filtrom etykiet możesz na przykład wybrać usługę; dodatkowe etykiety grupujące pozwalają uzyskać oddzielne wyniki. Sprawdź za każdym razem, które zapytania są uwzględniane i czy rozdzielczość segmentów jest wystarczająca dla interesującego Cię obszaru.

Dla histogramy natywne obowiązuje inna składnia zapytania: nie używa się klasycznej, oddzielnej _bucket-seria z le. To, czy dostępne są natywne histogramy i w jaki sposób można je eksportować, zależy od zastosowanych komponentów i ich wersji.

Porównanie instancji i grup zapytań

Wspólny wskaźnik P99 dla trafień w pamięci podręcznej i wywołań dynamicznych odpowiada na pytanie dotyczące całkowitej liczby wybranych żądań. Nie wyjaśnia jednak, która grupa uległa zmianie. Jeśli zmienia się odsetek szybkich trafień w pamięci podręcznej, może zmienić się również wartość całkowita, nawet jeśli nie każda z poszczególnych grup musiała stać się wolniejsza.

Dlatego uzupełnij wartość całkowitą o oddzielne widoki dla istotnych z merytorycznego punktu widzenia Grupy zapytań, o ile dostępne są odpowiednie etykiety. Pomocne mogą być w tym przypadku ograniczone nazwy tras lub statusy skrytek. Z kolei indywidualne adresy URL lub identyfikatory użytkowników jako etykiety mogą generować bardzo wiele szeregów czasowych; wybieraj wymiary tak, aby odpowiadały na konkretne pytanie.

W przypadku ogólnego percentyla obejmującego wiele instancji, w przypadku kompatybilnych klasycznych histogramów najpierw sumuje się liczniki przedziałów lub ich częstotliwości dla poszczególnych granic. Dopiero na podstawie tego wspólnego rozkładu szacuje się kwantyl. Uśrednienie wartości P99 z poszczególnych instancji zazwyczaj nie daje prawidłowej wartości ogólnego P99, ponieważ rozkłady i liczba zapytań mogą się różnić.

Formy danych służące do analizy rozkładów latencji
Format danychAgregacja i dokładnośćNakład związany z danymi
HistogramKompatybilne przedziały można agregować; kwantyle są szacowane, a dokładność zależy od rozdzielczości i sposobu przedstawieniaSzeregi czasowe lub dane histogramowe dla wybranej rozdzielczości i kombinacji etykiet
PodsumowanieKwantyle obliczone w trakcie procesu nie mogą być agregowane w jeden kwantyl ogólny; dokładność zależy od konfiguracjiObliczanie kwantylów w procesie oraz szeregi czasowe dla skonfigurowanych kwantylów
Pojedyncze zdarzeniaWspólna analiza jest możliwa, o ile dostępne są odpowiednie wartości indywidualne; wynik zależy od wybranej metody kwantylowejPotencjalnie jeden zestaw danych na zapytanie; przechowywanie i analiza mogą być czasochłonne

A Podsumowanie może być przydatne do analizy pojedynczego procesu. Jednak kwantyle obliczone już w tym przypadku nie mogą zostać później połączone w celu uzyskania prawidłowego kwantyla dla wszystkich przypadków. Pojedyncze zdarzenia pozwalają na inny poziom szczegółowości, ale wymagają, aby niezbędne obserwacje zostały faktycznie zarejestrowane i były dostępne.

Ustalanie celów opóźnienia i alarmów

Cel dotyczący opóźnienia można zweryfikować dopiero w oparciu o jasno zdefiniowaną populację. Stwierdzenie „95 procent wybranych zapytań trwa maksymalnie 300 milisekund“ wymaga zatem podania informacji o punkcie pomiarowym, uwzględnionych punktach końcowych oraz okresie analizy. Okno pięciominutowe pozwala odpowiedzieć na inne pytanie dotyczące działania niż okno dzienne.

Dla Udział progowy należy podzielić liczbę obserwacji do 300 milisekund włącznie przez całkowitą liczbę obserwacji. W przypadku klasycznego histogramu odpowiednią liczbę zapewnia przedział o dokładnie tej granicy; dla okna czasowego należy wykorzystać odpowiednie zmiany licznika lub wskaźniki. Odsetek ten bezpośrednio wskazuje, czy wybrany próg został osiągnięty w danym oknie.

Jeśli nie ma granicy przedziału wynoszącej 300 milisekund, nie da się określić dokładnego udziału wyłącznie na podstawie liczników przedziałów. Szacowana wartość P95 może jednak stanowić punkt odniesienia, choć jej dokładność zależy od rozkładu i granic przedziałów. W przypadku ważnego progu docelowego warto zatem wcześniej sprawdzić konfigurację histogramu.

Należy również wyraźnie określić, w jaki sposób błędy są uwzględniane w celu. Szybka odpowiedź na komunikat o błędzie nie powinna być automatycznie traktowana jako pozytywne doświadczenie użytkownika; w zależności od definicji celu błędy mogą być na przykład monitorowane oddzielnie lub traktowane jako negatywne zdarzenia. Kluczowe znaczenie ma to, aby licznik i mianownik były zgodne z wybraną definicją.

A Czas trwania alarmu zapobiega sytuacji, w której każda niewielka fluktuacja natychmiast wyzwala powiadomienie. Należy ustawić minimalną liczbę obserwacji, aby kilka pojedynczych zapytań nie miało nieproporcjonalnego wpływu na uruchomienie alarmu. Obie wartości powinny być dostosowane do natężenia ruchu i pilności usługi; brakujące dane wymagają osobnego traktowania.

W panelu kontrolnym warto wyświetlać obok siebie udział docelowy, liczbę zapytań i wskaźnik błędów. Dzięki temu można ustalić, czy przekroczenie wartości docelowej dotyczy wielu zapytań, czy też wynika z niewielkiego przedziału czasowego. Alarm powinien ponadto wskazywać, jaki wybór i jaki okres spowodowały wygenerowanie powiadomienia.

Systematyczne badanie rosnących percentyli

Jeśli wskaźnik P99 rośnie, najpierw sprawdź liczbę zapytań oraz Mieszanka punktów końcowych. Większa liczba wolnych wywołań dynamicznych może wpłynąć na ogólną wartość, nawet jeśli czas trwania poszczególnych grup zapytań praktycznie się nie zmienił. Z drugiej strony spadek liczby szybkich wywołań może zwiększyć odsetek wywołań wolniejszych.

Następnie porównaj oddzielne widoki według trasy i grupy statusu, o ile instrumentacja udostępnia te etykiety. Wyróżniona trasa może zawęzić zakres wyszukiwania; oddzielne grupy błędów pokazują ponadto, czy na rozkład wpływają szybkie czy powolne odpowiedzi błędne. W miarę możliwości stosuj ograniczone kategorie tras zamiast poszczególnych adresów URL lub identyfikatorów użytkowników.

Następnie przeanalizuj równolegle obciążenie, kolejki, czas odpowiedzi bazy danych i wskaźnik błędów w tym samym okresie. Rosnąca kolejka przy jednoczesnym wzroście wskaźnika P99 stanowi punkt wyjścia do analizy, ale nie jest jeszcze dowodem na to, że to właśnie ona powoduje opóźnienie. Sprawdź również, czy wskaźniki dotyczą tej samej usługi i porównywalnych grup zapytań.

Pomocne w przypadku pojedynczych, powolnych procesów Ślady oraz starannie wybrane logi, o ile są dostępne i powiązane z kontekstem żądania. Ślad może na przykład wskazać, który odcinek ścieżki żądania zajmuje dużo czasu. To, czy ten odcinek jest rzeczywiście przyczyną, należy następnie sprawdzić na podstawie dalszych obserwacji.

W artykule poświęconym temu tematowi wyjaśniono, w jaki sposób wskaźniki, logi i ślady uzupełniają się w przypadku otwartych kwestii operacyjnych. Obserwowalność w hostingu. W przypadku kolejek stosuje się również Monitorowanie kolejek poczty podobny przypadek użycia: chodzi tam o dostarczanie wiadomości, a nie bezpośrednio o opóźnienie żądania HTTP.

Przy każdym porównaniu należy odnotować, jakie przedziały czasowe i punkty pomiarowe są uwzględnione. Jednoczesny wzrost czasu działania bazy danych i opóźnienia serwera może uzasadniać przeprowadzenie dalszej analizy, jednak sama korelacja czasowa nie dowodzi związku przyczynowego. Również zmiany w ruchu sieciowym lub w instrumentacji mogą wpływać na obserwowany obraz sytuacji.

Jakość danych a decyzje operacyjne

Przy niewielkim natężeniu ruchu P99 silnie reaguje na pojedyncze obserwacje. Dziesięć zapytań w jednym oknie nie pozwala na tak stabilną klasyfikację, jak duża liczba zapytań; dlatego obok percentyla należy wyświetlać liczbę obserwacji. W przypadku alarmów pomocna może być minimalna liczba, która pozwoli uwzględnić miarodajność danych bez całkowitego wyłączania słabo wykorzystywanych usług z monitoringu.

A puste okno oznacza brak zaobserwowanych zapytań i opóźnienie nie równe zeru w milisekundach. Brakujące lub niezdefiniowane wartości należy odpowiednio przedstawić na pulpicie nawigacyjnym i osobno rozstrzygnąć, czy brak ruchu sam w sobie stanowi problem. Dzięki temu brak danych nie zostanie przypadkowo zinterpretowany jako wyjątkowo szybka odpowiedź.

Również przedziałów czasowych nie można dowolnie łączyć: pięciominutowy P99 opisuje inne okno niż dzienny P99. Średnia poszczególnych wartości P99 z poszczególnych minut zazwyczaj nie daje wartości P99 dla całego dnia. Do analizy dziennej potrzebne są podstawowe dane dotyczące rozkładu, które można agregować w wybranym przedziale czasowym.

Die Rozdzielczość Bucketa ma wpływ na to, jak dokładnie histogram może odzwierciedlać interesującą nas granicę. Bardziej precyzyjnie dobrane granice mogą poprawić oszacowanie w odpowiednim zakresie, jednak w przypadku klasycznych histogramów wymagają dodatkowych szeregów czasowych, a tym samym większej ilości pamięci. Należy porównać ten nakład z korzyściami dla konkretnej decyzji operacyjnej.

W przypadku bieżącej oceny wskaźniki te wzajemnie się uzupełniają: średnia opisuje średni czas trwania, P95 i P99 uwidaczniają obszary o wolnym działaniu, a odsetek progowy odnosi się do konkretnie zdefiniowanego celu w zakresie opóźnień. Liczba zapytań i wskaźnik błędów dostarczają kontekstu pozwalającego na właściwą interpretację tych wartości. Żaden pojedynczy wskaźnik nie zastępuje weryfikacji punktu pomiarowego, okresu oraz jakości danych.

Źródła i aktualny stan wiedzy

Stan badań:

Stan wiedzy na dzień 16 listopada 2026 r.; konwencje OpenTelemetry z gałęzi rozwojowej nie stanowią gwarancji dla zainstalowanych wersji.

https://sre.google/workbook/monitoring/

https://prometheus.io/docs/practices/histograms/

https://github.com/open-telemetry/semantic-conventions/blob/main/docs/http/http-metrics.md

https://prometheus.io/docs/specs/native_histograms/

https://grafana.com/docs/grafana/latest/datasources/prometheus/query-editor/

Artykuły bieżące