...

Overvågning af hosting med percentiler: P95 og P99 i stedet for kun gennemsnittet

P95 og P99 synliggør langsomme forespørgsler, som et gennemsnitstal kan skjule. En P95 beskriver, forenklet sagt, den varighed, som ca. 95 procent af de udvalgte forespørgsler ikke overskrider. Hvad dette egentlig betyder, afhænger af målepunktet, tidsperioden og det registrerede antal forespørgsler. Histogrammer leverer skøn herfor, hvis nøjagtighed afhænger af deres opløsning. For at få et pålideligt billede af driften skal man også medtage forespørgselsvolumen og fejlrate; en percentil alene forklarer hverken årsagen til en forsinkelse eller den enkelte persons oplevelse.

Hvad målingen af latenstiden registrerer

Et latenstalsværdi giver kun mening, hvis I Målepunkt er fastslået. En reverse proxy kan registrere varigheden af en forespørgsel, når den videregives til tjenesten; en applikation måler derimod et afsnit inden for sin egen behandling. Hvilke trin der i hvert tilfælde indgår, afhænger af, hvor målingen begynder og slutter.

En måling i browseren kan desuden omfatte dele af vejen mellem klient og server samt behandling på klientsiden. Også her er det den konkrete måleopsætning, der bestemmer start og slutning. En lav serverlatens alene er derfor ikke bevis på, at en side i browseren kan bruges hurtigt: Netværksoverførsel og behandling på slutbrugerenheden kan tage yderligere tid.

Et AI-genereret symbolbillede af en netværksstikdåse med et tilsluttet Ethernet-kabel som angivelse af et målepunkt
I det AI-genererede symbolbillede repræsenterer netværksforbindelsen en mulig del af forespørgselsvejen.

Læg også Grundpopulation Præciser: Gælder det alle forespørgsler til en tjeneste eller et bestemt endepunkt? En samlet fordeling kan se anderledes ud end fordelingen for et enkelt endepunkt. Angiv desuden, om analysen dækker et glidende vindue på fem minutter eller en længere periode, og om værdierne vises i sekunder eller millisekunder.

Både vellykkede og mislykkede forespørgsler indgår ligeledes i definitionen. En fejl, der returneres hurtigt, kan forbedre latenstidsfordelingen, selvom forespørgslen ikke nåede frem til sin destination. Separate oversigter for succes og fejl hjælper med at identificere disse tilfælde; desuden forbliver fejlprocenten en selvstændig driftsindikator.

OpenTelemetry-konventionen i udviklingsgrenen beskriver et histogram over anmodningens varighed i sekunder for HTTP-servere. Det betyder dog ikke, at en bestemt installeret version understøtter dette eller eksporterer det under samme navn. Kontroller det faktiske metriknavn og de tilgængelige attributter i dit miljø, inden du opretter et dashboard baseret på det.

Sådan aflæser man P95 og P99 korrekt

En Percentil beskriver en grænse inden for den valgte fordeling. Hvis P95 ligger på 400 millisekunder, er ca. 95 procent af de medregnede forespørgselsvarigheder, forenklet sagt, højst så lange. P99 flytter fokus længere mod den langsomme ende: Den beskriver tilsvarende grænsen for ca. 99 procent af observationerne.

Sammenligning af gennemsnit og percentiler
NøgletalErklæringBegrænsninger i udsagnet
GennemsnitSummen af varigheder divideret med antallet af forespørgslerSkjuler fordelingen af de enkelte hurtige og langsomme forespørgsler
P50Grænse for omtrent halvdelen af de observerede varighederBeskriver ikke, hvor langsom den øverste ende er
P95Grænse for ca. 95 procent af de observerede varighederLangsommere observationer over grænsen forbliver usynlige i en enkelt værdi
P99Grænse for ca. 99 procent af de observerede varighederKan, hvis der kun er få observationer, afhænge i høj grad af enkelte værdier

Disse procenttal vedrører måleværdier, ikke direkte personer eller sessioner. En person kan udløse flere forespørgsler, mens en anden kun sender én. Man kan derfor ikke ud fra en P99 alene konkludere, at én procent af brugerne har oplevet en langsom session.

Den nøjagtige grænse afhænger desuden af beregningsmetoden. Ved identiske måleværdier, eller hvis den ønskede position ligger mellem to observationer, kan forskellige kvantildefinitioner vælge eller interpolere på forskellig vis. Ved estimerede histogramværdier kommer opdelingen i buckets oveni; en vist værdi er derfor ikke altid en faktisk observeret enkeltvarighed.

I forbindelse med hostingovervågning omfatter percentilen både forespørgselsvolumenet og fejlraten. Den samme P99-værdi skal vurderes forskelligt, alt efter om der er få eller mange forespørgsler; uden volumen er det svært at vurdere dens stabilitet. Fejlprocenten viser desuden et aspekt, som en ren tidsfordeling ikke afspejler pålideligt.

Hvordan histogrammer estimerer percentiler

Et klassisk Prometheus-histogram gemmer ikke en sorteret liste over alle forespørgselsvarigheder. Det tæller observationer i kumulative kategorier: En kategori med en bestemt øvre grænse omfatter også observationer, der allerede ligger i lavere kategorier. Ud fra disse tal kan man estimere, i hvilket område af fordelingen en bestemt percentil ligger.

Antag, at den søgte position ligger mellem grænserne 200 og 500 millisekunder. Histogrammet viser, hvor mange observationer der er talt op til disse grænser, men ikke deres nøjagtige fordeling imellem. For klassiske histogrammer estimerer Prometheus positionen inden for denne kategori ved hjælp af lineær interpolation.

Dette skøn kan afvige fra de faktiske individuelle værdier. Især et bredt interval omkring en driftsmæssigt vigtig grænseværdi giver stor usikkerhed: Observationerne kan være fordelt anderledes inden for intervallet, end det antages ved interpolationen. Smalle grænser i relevante områder forbedrer opløsningen, men medfører en ekstra databelastning.

AI-genereret illustration af felter med forskellig bredde, hvor prikker symboliserer histogramkategorier
Den AI-genererede illustration viser, at brede kategorier kun i begrænset omfang giver et detaljeret billede af de enkelte observationers placering.

Indbyggede histogrammer anvender en anden fremstilling end de klassiske bucket-tidsserier. Også deres kvantiler er skøn; de Interpolation Det afhænger af det anvendte skema og den pågældende bucket. Klassiske og native histogrammer bør derfor ikke behandles, som om de havde samme lagringsform og altid de samme interpolationsregler.

Quantile kan allerede beregne et resumé i den instrumenterede proces. Disse færdige kvantilværdier kan dog ikke efterfølgende samles til en korrekt samlet kvantil for flere processer. Til en samlet analyse på tværs af instanser er aggregerbare histogramdata derfor ofte det mere passende grundlag; her skal bucket-grænserne passe til den ønskede sammenfatning.

Når gennemsnittet skjuler afvigelser

Illustrativt regneeksempel, ikke en måling: I et tidsvindue varer 95 forespørgsler hver 100 millisekunder, og fem yderligere hver 2.000 millisekunder. Alle 100 observationer tilhører den samme udvalgte population. Eksemplet tjener til at sammenligne nøgletal og er ikke et bevis på et hosting-systems ydeevne.

Til percentilerne bruger vi her en konkret Udvælgelsesregel: Man søger i hvert tilfælde den mindste observerede værdi, hvor mindst den angivne andel af forespørgslerne ligger på eller under denne værdi. I den sorterede liste findes der først 95 værdier på 100 millisekunder og derefter fem værdier på 2.000 millisekunder.

Eksempel på beregning for 100 forespørgsler, ingen måling
NøgletalBeregning eller valgResultat
Gennemsnit(95 × 100 ms + 5 × 2.000 ms) / 100195 ms
P9595. sorteret værdi100 ms
P9999. sorteret værdi2.000 ms

Der Gennemsnit ligger betydeligt under varigheden af de fem langsomme forespørgsler. Han fordeler den ekstra tid, disse medfører, matematisk på alle observationer. Hvis man kun ser på denne værdi, kan man derfor hverken se varigheden af de langsomme forespørgsler eller umiddelbart, hvor mange af dem der er berørt.

P95 er her 100 millisekunder, selvom fem procent af forespørgslerne tager 20 gange så lang tid. De langsomme observationer ligger lige over den valgte P95-grænse; P99 gør dem synlige i dette eksempel. Det betyder ikke, at P99 generelt registrerer alle relevante forsinkelser.

Andre kvantildefinitioner kan interpolere mellem sorterede værdier og dermed give andre resultater. En percentil, der er estimeret ud fra histogramkategorier, behøver heller ikke at stemme overens med det udvalg, der er baseret på individuelle værdier. Ved fortolkningen skal man derfor tage højde for beregningsmetoden, antallet af forespørgsler og det betragtede tidsvindue i forbindelse med den viste værdi.

Forespørgsel på P95 med PromQL

For at kunne udføre den følgende forespørgsel skal du have adgang til en Prometheus-datakilde og et eksisterende klassisk histogram for forespørgselsvarigheder. Indtast udtrykket i Prometheus-udtryksbrowseren eller i et Grafana-forespørgselsfelt til Prometheus. Forespørgslen læser eksisterende tidsserier; den er hverken en terminalkommando eller en konfigurationsændring.

Metriknavnet er en pladsholder. Erstat det om nødvendigt med navnet på din instrumentering, og kontroller, om de valgte tidsserier har kompatible bucket-grænser. Eksemplet aggregerer uden yderligere filtre på tværs af alle øvrige labels og leverer derfor kun den ønskede samlet værdi, hvis dette valg svarer til dit driftsspørgsmål.

Kode
histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))

Først beregnes rate ud fra de kumulative bucket-tællere beregnes ændringshastigheden over det glidende fem-minutters-vindue. Derefter summeres sum by (le) raterne for de øvrige mærker. Denne rækkefølge gør det muligt at tage højde for nulstilling af tællere i de enkelte tidsserier ved beregningen af raterne.

Mærket le forbliver uændret: Den angiver den øvre grænse for den pågældende kategori. Ud fra den sammenfattede fordeling estimeres histogram_quantile det Samlet P95. I den her anvendte sekundmåleenhed angives resultatet også i sekunder; 0,4 svarer således til 400 millisekunder.

For P99 skal du erstatte den første parameter 0.95 igennem 0.99. Med passende label-filtre kan du for eksempel vælge en tjeneste; yderligere grupperingslabels gør det muligt at få separate resultater. Kontroller hver gang, hvilke forespørgsler der medtages, og om opdelingen i kategorier er tilstrækkelig for det pågældende område.

For indbyggede histogrammer der gælder en anden forespørgselssyntaks: Man bruger ikke den klassiske separate _bucket-serien med le. Om der findes indbyggede histogrammer, og hvordan de eksporteres, afhænger af de anvendte komponenter og versioner.

Sammenligning af instanser og forespørgselsgrupper

Et samlet P99-tal for cache-hits og dynamiske opkald giver svar på spørgsmålet om den samlede mængde af de udvalgte forespørgsler. Det forklarer dog ikke, hvilken gruppe der har ændret sig. Hvis andelen af hurtige cache-hits ændrer sig, kan den samlede værdi også ændre sig, uden at hver enkelt gruppe nødvendigvis er blevet langsommere.

Tilføj derfor til den samlede værdi separate visninger for fagligt relevante Forespørgselsgrupper, forudsat at der findes egnede etiketter. En begrænset rutebetegnelse eller en cache-status kan være nyttig i denne sammenhæng. Individuelle URL’er eller bruger-ID’er som etiketter kan derimod generere meget mange tidsserier; vælg dimensioner, så de besvarer et konkret spørgsmål.

For at beregne en samlet percentil på tværs af flere instanser samles først bucket-tællerne eller deres frekvenser pr. grænse i kompatible klassiske histogrammer. Først ud fra denne fælles fordeling estimeres kvantilen. At beregne gennemsnittet af de enkelte instansers P99-værdier giver generelt ikke et korrekt samlet P99-tal, da fordelingerne og antallet af forespørgsler kan variere.

Datatyper til analyse af latensfordelinger
DataformAggregering og nøjagtighedDatabehandling
HistogramKompatible buckets kan aggregeres; kvantiler estimeres, nøjagtigheden afhænger af opløsning og visningTidsserier henholdsvis histogramdata for hver valgt opløsning og etikettekombination
ResuméKvantiler, der beregnes under processen, kan ikke aggregeres til en samlet kvantil; nøjagtigheden afhænger af konfigurationenKvantilberegning i processen og tidsserier for konfigurerede kvantiler
Enkelte begivenhederFælles analyse er mulig, hvis der foreligger relevante enkeltværdier; resultatet afhænger af den valgte kvantilmetodePotentielt ét datasæt pr. forespørgsel; lagring og analyse kan være ressourcekrævende

En Resumé kan være nyttigt til at få et overblik over en enkelt proces. De kvantiler, der allerede er beregnet der, kan dog ikke efterfølgende sammensættes til en korrekt kvantil for alle forekomster. Enkelthændelser giver mulighed for en anden detaljeringsgrad, men forudsætter, at de nødvendige observationer rent faktisk er registreret og tilgængelige.

Indstilling af latenstidsmål og alarmer

Et latenstidmål kan først kontrolleres ved hjælp af en klart defineret population. „95 procent af de udvalgte forespørgsler tager højst 300 millisekunder“ kræver derfor oplysninger om målepunktet, de involverede endepunkter og analyseperioden. Et fem-minutters-vindue besvarer et andet driftsspørgsmål end et dagsvindue.

For Andel af tærskelværdier Du dividerer antallet af observationer op til og med 300 millisekunder med det samlede antal observationer. I et klassisk histogram giver en bucket med netop denne grænse den relevante tæller; for et tidsvindue bruger du de tilsvarende ændringer i tælleren eller frekvenserne. Andelen viser umiddelbart, om den valgte tærskel i vinduet er nået.

Hvis der ikke er en bucket-grænse på 300 millisekunder, kan den nøjagtige andel ikke bestemmes ud fra bucket-tællerne alene. Den estimerede P95 kan dog stadig give et fingerpeg, men dens nøjagtighed afhænger af fordelingen og bucket-grænserne. For en vigtig måltærskel er det derfor en god idé at kontrollere histogramkonfigurationen på forhånd.

Fastlæg desuden udtrykkeligt, hvordan fejl indgår i målet. En fejlmeddelelse, der besvares hurtigt, bør ikke uden videre tælle som en god brugeroplevelse; afhængigt af måldefinitionen kan fejl f.eks. overvåges separat eller betragtes som negative hændelser. Det afgørende er, at tæller og nævner passer til den valgte definition.

En Alarmens varighed forhindrer, at hver eneste lille udsving straks udløser en meddelelse. Angiv et minimumsantal observationer, så få enkeltstående forespørgsler ikke får uforholdsmæssig stor indflydelse på, om der udløses en alarm. Begge værdier bør passe til trafikmængden og tjenestens hastighed; manglende data kræver en særskilt behandling.

I dashboardet er det nyttigt at vise målandel, forespørgselsvolumen og fejlprocent side om side. På den måde kan man se, om en afvigelse fra målet vedrører mange forespørgsler eller skyldes et kort tidsrum. En alarm bør desuden angive, hvilket valg og hvilket tidsrum der har udløst meddelelsen.

Systematisk undersøgelse af stigende percentiler

Hvis P99 stiger, skal du først kontrollere forespørgselsmængden og Blanding af slutpunkter. Flere langsomme dynamiske forespørgsler kan påvirke det samlede tal, selvom varigheden af hver enkelt forespørgselsgruppe stort set er uændret. Omvendt kan et fald i antallet af hurtige forespørgsler øge andelen af langsommere forespørgsler.

Sammenlign derefter separate oversigter efter rute og statusgruppe, forudsat at instrumenteringen stiller disse mærker til rådighed. En iøjnefaldende rute kan indsnævre søgningen; separate fejlgrupper viser desuden, om hurtige eller langsomme fejlsvar påvirker fordelingen. Brug om muligt begrænsede rutekategorier i stedet for individuelle URL'er eller bruger-ID'er.

Se derefter parallelt på udnyttelsesgraden, køerne, databasetiden og fejlraten i samme periode. En voksende kø kombineret med en stigende P99 er et udgangspunkt for undersøgelsen, men endnu ikke et bevis på, at den forårsager forsinkelsen. Kontroller også, om målingerne vedrører den samme tjeneste og sammenlignelige forespørgselsgrupper.

Hjælper ved enkelte langsomme processer Spor og målrettet udvalgte logfiler, forudsat at de er tilgængelige og knyttet til forespørgselens kontekst. En sporingslog kan for eksempel vise, hvilket afsnit af en forespørgselsvej der tager lang tid. Om dette afsnit rent faktisk er årsagen, skal derefter undersøges på baggrund af yderligere observationer.

I artiklen om forklares det, hvordan målinger, logfiler og spor supplerer hinanden i forbindelse med åbne driftsspørgsmål Observabilitet inden for hosting. For køer gælder også, at Overvågning af mailkøer et beslægtet anvendelsestilfælde: Her drejer det sig om levering af beskeder, ikke direkte om latenstiden for en HTTP-forespørgsel.

Notér ved hver sammenligning, hvilke tidsvinduer og målepunkter der er tale om. En samtidig høj databasetid og serverlatens kan berettige en yderligere undersøgelse, men tidsmæssig sammenhæng alene beviser ikke en årsagssammenhæng. Også ændringer i trafikken eller i overvågningssystemet kan påvirke det observerede billede.

Datakvalitet og driftsbeslutninger

Når der er lidt trafik, reagerer P99 kraftigt på enkelte observationer. Ti forespørgsler i et vindue giver ikke en lige så stabil klassificering som et stort forespørgselsvolumen; vis derfor antallet af observationer ved siden af percentilen. For alarmer kan et minimumsantal være nyttigt for at tage højde for alarmernes relevans, uden at tjenester med lav udnyttelse fjernes helt fra overvågningen.

En tomt vindue betyder, at der ikke er observeret nogen forespørgsler, og at ventetiden ikke er nul millisekunder. Vis manglende eller udefinerede værdier i dashboardet på passende vis, og vurder separat, om den manglende trafik i sig selv udgør et problem. På den måde undgår man, at en mangel på data ved en fejltagelse tolkes som et særligt hurtigt svar.

Tidsperioder kan heller ikke sammenfattes vilkårligt: En fem-minutters P99 beskriver et andet tidsvindue end en dags-P99. Gennemsnittet af de enkelte minuts-P99-værdier giver generelt ikke en dags-P99. Til dagsanalysen har du brug for de underliggende aggregerbare fordelingsdata for den ønskede periode.

Die Bucket-opløsning har indflydelse på, hvor præcist et histogram kan gengive den relevante grænse. Finere valgte grænser kan forbedre estimatet i det relevante område, men kræver ved klassiske histogrammer yderligere tidsserier og dermed mere hukommelse. Vurder denne indsats i forhold til nytten for den konkrete driftsbeslutning.

I den løbende vurdering supplerer nøgletallene hinanden: Gennemsnittet beskriver den gennemsnitlige varighed, P95 og P99 synliggør områder med langsom behandling, og tærskelandelen svarer til et konkret defineret mål for ventetiden. Antallet af forespørgsler og fejlprocenten giver den nødvendige kontekst til at sætte disse værdier i perspektiv. Ingen enkelt nøgletal kan erstatte en gennemgang af målepunkter, tidsperiode og datakvalitet.

Kilder og den aktuelle videnskabelige viden

Status for undersøgelsen:

Undersøgelsesgrundlag fra den 16. november 2026; OpenTelemetry-konventioner fra udviklingsgrenen er ingen garanti for installerede versioner.

https://sre.google/workbook/monitoring/

https://prometheus.io/docs/practices/histograms/

https://github.com/open-telemetry/semantic-conventions/blob/main/docs/http/http-metrics.md

https://prometheus.io/docs/specs/native_histograms/

https://grafana.com/docs/grafana/latest/datasources/prometheus/query-editor/

Aktuelle artikler