...

Мониторинг хостинга с использованием процентилей: P95 и P99 вместо одного лишь среднего значения

P95 и P99 позволяют выявить медленные запросы, которые могут скрываться за средним значением. Один P95 В упрощенном виде это время, предельное значение которого не превышают примерно 95 процентов выбранных запросов. То, что за этим стоит, зависит от точки измерения, периода времени и количества зарегистрированных запросов. Гистограммы предоставляют оценки, точность которых зависит от их разрешения. Для получения надежной картины работы необходимо учитывать также объем запросов и уровень ошибок; один только процентиль не объясняет ни причину задержки, ни опыт отдельных пользователей.

Что учитывается при измерении задержки

Показатель латентности можно понять только в том случае, если вы Точка измерения Это установленный факт. Обратный прокси-сервер может измерить продолжительность запроса на этапе его передачи сервису; приложение же измеряет отрезок времени в рамках собственной обработки. То, какие этапы включаются в каждый из этих измерений, зависит от того, где начинается и заканчивается измерение.

Измерение в браузере может дополнительно учитывать отдельные участки пути между клиентом и сервером, а также обработку данных на стороне клиента. И в этом случае начало и конец определяются конкретной конфигурацией инструментария. Поэтому низкая задержка на сервере сама по себе не свидетельствует о том, что страница быстро загружается в браузере: передача данных по сети и обработка на конечных устройствах могут занимать дополнительное время.

Созданное с помощью ИИ иллюстративное изображение сетевой розетки с вставленным кабелем Ethernet, обозначающее точку измерения
На иллюстративном изображении, сгенерированном с помощью ИИ, сетевое соединение символизирует один из возможных участков пути запроса.

Также поместите совокупность Уточните: речь идет обо всех запросах к службе или о конкретной конечной точке? Общее распределение может отличаться от распределения по отдельной конечной точке. Кроме того, уточните, охватывает ли анализ скользящее пятиминутное окно или более длительный период, а также отображаются ли значения в секундах или миллисекундах.

В определение также входят как успешные, так и неудачные запросы. Быстрое возвращение ошибки может улучшить распределение задержек, даже если запрос не достиг своего назначения. Отдельные представления для успешных и неудачных запросов помогают выявить такие случаи; кроме того, показатель ошибок остается самостоятельным операционным показателем.

Согласно соглашению OpenTelemetry в ветке разработки, для HTTP-серверов предусмотрена гистограмма продолжительности запросов в секундах. Однако это не означает, что конкретная установленная версия поддерживает данную функцию или экспортирует данные под тем же именем. Прежде чем создавать на основе этой метрики панель мониторинга, проверьте в своей среде фактическое название метрики и доступные атрибуты.

Как правильно читать P95 и P99

A перцентиль описывает границу внутри выбранного распределения. Если P95 составляет 400 миллисекунд, то, упрощая, примерно 95 процентов учитываемых продолжительностей запросов не превышают этого значения. P99 смещает фокус дальше в сторону более медленных значений: соответственно, он описывает границу для примерно 99 процентов наблюдений.

Сравнение среднего значения и процентилей
Ключевая фигураЗаявлениеОграничения данного утверждения
в среднемСумма продолжительностей, деленная на количество запросовСкрывает распределение отдельных быстрых и медленных запросов
P50Предел примерно для половины наблюдаемых продолжительностейНе описывает, насколько медленно работает верхний конец
P95Предел для примерно 95 процентов наблюдаемых периодовБолее медленные наблюдения выше границы остаются незаметными в отдельном значении
P99Предел для примерно 99 процентов наблюдаемых продолжительностейПри небольшом количестве наблюдений может в значительной степени зависеть от отдельных значений

Эти процентные показатели относятся к результатам измерений, а не непосредственно к пользователям или сеансам. Один пользователь может инициировать несколько запросов, в то время как другой — только один. Поэтому на основании одного показателя P99 нельзя сделать вывод, что один процент пользователей столкнулся с низкой скоростью работы во время сеанса.

Кроме того, точная граница зависит от метода расчёта. При одинаковых измеренных значениях или если искомое положение находится между двумя наблюдениями, различные определения квантилей могут по-разному выбирать или интерполировать значения. В случае оценочных значений гистограммы к этому добавляется деление на интервалы; поэтому отображаемое значение не всегда соответствует фактически наблюдаемой отдельной длительности.

При мониторинге хостинга к процентилю относятся объем запросов и частота ошибок. Одно и то же значение P99 следует интерпретировать по-разному в случае небольшого и большого количества запросов; без учета объема сложно оценить его стабильность. Кроме того, частота ошибок отражает аспект, который не может быть достоверно показан с помощью одного лишь распределения по продолжительности.

Как гистограммы оценивают процентили

Классическая гистограмма Prometheus не хранит отсортированный список всех значений продолжительности запросов. Она подсчитывает количество наблюдений в кумулятивных диапазонов: «Бакет» с определённым верхним пределом включает в себя также наблюдения, которые уже находятся в более низких бакетах. По этим показателям можно оценить, в каком диапазоне распределения находится искомый процентиль.

Предположим, что искомая позиция находится в диапазоне от 200 до 500 миллисекунд. Гистограмма показывает, сколько наблюдений было зафиксировано в пределах этих границ, но не отражает их точное распределение между ними. Для классических гистограмм Prometheus оценивает положение внутри данного интервала с помощью линейной интерполяции.

Эта оценка может отличаться от фактических отдельных значений. В частности, широкий интервал вокруг важного для эксплуатации порогового значения оставляет много места для неопределённости: распределение наблюдаемых значений в пределах этого интервала может отличаться от того, что предполагалось при интерполяции. Более узкие границы в соответствующих диапазонах повышают разрешение, но требуют дополнительных затрат на сбор данных.

Иллюстрация, сгенерированная с помощью ИИ, на которой изображены поля различной ширины с точками, символизирующими ячейки гистограммы
Иллюстрация, созданная с помощью ИИ, наглядно демонстрирует, что широкие интервалы позволяют лишь в ограниченной степени определить положение отдельных наблюдений.

Встроенные гистограммы используют иное представление, чем классические временные ряды с группировкой по интервалам. Их квантили также являются оценками; Интерполяция Это зависит от используемой схемы и сегмента. Поэтому классические и нативные гистограммы не следует рассматривать так, как будто они хранятся одинаково и всегда используют одни и те же правила интерполяции.

Quantile может вычислять суммарные значения уже на этапе инструментированного процесса. Однако эти готовые квантильные значения нельзя впоследствии объединить в правильный общий квантиль для нескольких процессов. Поэтому для общей оценки по экземплярам более подходящей основой часто служат агрегируемые данные гистограммы; при этом границы интервалов должны соответствовать желаемому уровню агрегирования.

Когда среднее значение скрывает аномальные значения

Наглядный расчетный пример, не являющийся результатом измерения: в течение определенного временного интервала 95 запросов занимают по 100 миллисекунд каждый, а еще пять — по 2 000 миллисекунд каждый. Все 100 наблюдений относятся к одной и той же выбранной совокупности. Данный пример предназначен для сравнения показателей и не является подтверждением производительности хостинг-системы.

Для процентилей мы используем здесь конкретную правило отбора: В каждом случае ищется наименьшее наблюдаемое значение, при котором доля запросов составляет не менее указанного значения или остается ниже него. В отсортированном списке сначала идут 95 значений, равных 100 миллисекундам, а затем — пять значений, равных 2 000 миллисекундам.

Наглядный пример расчета для 100 запросов, без измерений
Ключевая фигураРасчет или выборРезультат
в среднем(95 × 100 мс + 5 × 2 000 мс) / 100195 мс
P9595. отсортированное значение100 мс
P9999-е значение в отсортированном списке2 000 мс

Der в среднем значительно меньше, чем продолжительность пяти медленных запросов. Он распределяет это дополнительное время математически между всеми наблюдениями. Поэтому, если учитывать только это значение, невозможно определить ни продолжительность медленных запросов, ни количество запросов, на которые это влияет.

P95 в данном случае составляет 100 миллисекунд, хотя 5 % запросов выполняются в 20 раз дольше. Медленные наблюдения находятся чуть выше выбранного порога P95; в данном примере их можно увидеть с помощью P99. Это не означает, что P99 в целом фиксирует все значимые задержки.

Другие определения квантилей могут интерполировать значения в отсортированном наборе и, таким образом, давать иные результаты. Кроме того, процентиль, оцененный на основе ячеек гистограммы, не обязательно будет совпадать с выбором, сделанным на основе отдельных значений. Поэтому при интерпретации отображаемого значения необходимо учитывать метод расчета, количество запросов и рассматриваемый временной интервал.

Запрос P95 с помощью PromQL

Для выполнения следующего запроса тебе потребуется доступ к источнику данных Prometheus и реально существующая классическая гистограмма продолжительности запросов. Введи выражение в браузере выражений Prometheus или в поле запросов Grafana для Prometheus. Этот запрос считывает существующие временные ряды; он не является ни терминальной командой, ни изменением конфигурации.

Название метрики является заполнителем. При необходимости замените его на название вашей системы мониторинга и проверьте, имеют ли выбранные временные ряды совместимые границы сегментов. В данном примере агрегирование производится без дополнительных фильтров по всем остальным меткам, поэтому желаемое итоговое значение будет получено только в том случае, если этот выбор соответствует вашему операционному запросу.

Код
histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket[5m])))

Сначала рассчитывается rate из накопленных счетчиков «бакетов» — их темп изменения за скользящее пятиминутное окно. Затем суммируются sum by (le) показатели по остальным категориям. Такой порядок позволяет учитывать сброс счетчиков отдельных временных рядов при расчете показателей.

Лейбл le остается неизменным: он обозначает верхнюю границу соответствующего интервала. На основе обобщенного распределения оценивается histogram_quantile das Общий P95. В соответствии с принятой здесь метрикой в секундах результат также указан в секундах; таким образом, 0,4 соответствует 400 миллисекундам.

Для P99 замени первый параметр 0.95 через 0.99. С помощью соответствующих фильтров по меткам можно, например, выбрать сервис; дополнительные метки группировки позволяют получить разделённые результаты. В каждом случае проверяйте, какие запросы учитываются, и достаточно ли детализации корзины для интересующей вас области.

Для истограммы в исходном формате используется другой синтаксис запроса: вы не используете классический отдельный _bucket-серия с le. Наличие встроенных гистограмм и способы их экспорта зависят от используемых компонентов и версий.

Сравнение инстанций и групп запросов

Общий показатель P99 для попаданий в кэш и динамических вызовов дает ответ на вопрос об общем объеме выбранных запросов. Однако он не объясняет, какая именно группа претерпела изменения. Если доля быстрых попаданий в кэш изменяется, общее значение также может измениться, при этом не обязательно, что каждая отдельная группа стала работать медленнее.

Поэтому дополните итоговую оценку отдельными мнениями по профессионально значимым вопросам Группы запросов, при условии наличия подходящих меток. Для этого могут пригодиться ограниченные обозначения маршрутов или статус кэша. В то же время использование индивидуальных URL-адресов или идентификаторов пользователей в качестве меток может привести к появлению огромного количества временных рядов; выбирайте измерения так, чтобы они давали ответ на конкретный вопрос.

Для расчета общего процентиля по нескольким экземплярам в случае совместимых классических гистограмм сначала объединяются счетчики ячеек или их частоты по каждому пределу. Только на основе этого общего распределения производится оценка квантиля. Усреднение значений P99 отдельных экземпляров, как правило, не даёт правильного общего P99, поскольку распределения и количество запросов могут различаться.

Формы данных для анализа распределений латентности
Формат данныхАгрегирование и точностьОбъем данных
ГистограммаСовместимые сегменты можно объединять; квантили оцениваются, точность зависит от разрешения и способа представленияВременные ряды или данные гистограмм для каждого выбранного разрешения и каждой комбинации меток
РезюмеКвантили, рассчитанные в ходе процесса, не могут быть агрегированы в общий квантиль; точность зависит от конфигурацииРасчет квантилей в процессе и временные ряды для настроенных квантилей
Отдельные событияСовместная оценка возможна при наличии соответствующих отдельных значений; результат зависит от выбранного метода квантилированияПотенциально один набор данных на каждый запрос; хранение и анализ могут потребовать значительных затрат

A Резюме может быть полезно для анализа отдельного процесса. Однако квантили, рассчитанные там, невозможно впоследствии объединить в один правильный квантиль для всех экземпляров. Анализ отдельных событий позволяет достичь иной степени детализации, но предполагает, что необходимые наблюдения действительно были зарегистрированы и доступны.

Настройка целевых значений задержки и сигналов тревоги

Цель по задержке становится поддающейся проверке только при наличии чётко определённой совокупности. Поэтому для утверждения „95 процентов выбранных запросов занимают не более 300 миллисекунд“ необходимы данные о точке измерения, включённых конечных точках и периоде анализа. Пятиминутное окно позволяет ответить на иные эксплуатационные вопросы, чем суточное окно.

Для Доля пороговых значений разделите количество наблюдений в интервале до 300 миллисекунд включительно на общее количество наблюдений. В классической гистограмме соответствующий счетчик предоставляет интервал с точно таким пороговым значением; для временного окна используются соответствующие изменения счетчика или скорости изменения. Доля сразу показывает, было ли достигнуто выбранное пороговое значение в данном окне.

Если граница бакета не установлена на уровне 300 миллисекунд, то на основании одних только счетчиков бакетов невозможно определить точную долю. Тем не менее, оценочное значение P95 может служить ориентиром, однако его точность зависит от распределения и границ бакетов. Поэтому для важных целевых пороговых значений стоит заранее проверить настройки гистограммы.

Кроме того, четко определите, как ошибки учитываются при достижении цели. Быстрое устранение ошибки не должно автоматически считаться хорошим пользовательским опытом; в зависимости от определения цели ошибки могут, например, отслеживаться отдельно или рассматриваться как негативные события. Главное, чтобы числитель и знаменатель соответствовали выбранному определению.

A Продолжительность сигнала тревоги предотвращает ситуацию, когда каждое незначительное колебание сразу же вызывает уведомление. Укажите минимальное количество наблюдений, чтобы несколько единичных запросов не оказывали непропорционально большого влияния на решение о срабатывании сигнала тревоги. Оба значения должны соответствовать интенсивности трафика и степени срочности службы; отсутствующие данные требуют отдельного подхода.

На панели инструментов полезно отображать долю достижения целевых показателей, объем запросов и уровень ошибок рядом друг с другом. Так можно определить, затрагивает ли невыполнение целевого показателя большое количество запросов или связано с небольшим временным интервалом. Кроме того, оповещение должно позволять понять, какой набор параметров и какой период времени стали причиной его срабатывания.

Систематическое изучение возрастающих процентилей

Если показатель P99 растёт, сначала проверьте объём запросов и Комбинация конечных точек. Увеличение количества медленных динамических запросов может повлиять на общее значение, даже если продолжительность каждой отдельной группы запросов практически не изменилась. И наоборот, сокращение количества быстрых запросов может привести к увеличению доли более медленных запросов.

Затем сравните отдельные представления по маршруту и группе статусов, если инструментарий предоставляет эти метки. Выделенный маршрут может сузить круг поиска; кроме того, разделение на группы ошибок показывает, влияют ли на распределение быстрые или медленные ошибочные ответы. По возможности используйте ограниченные категории маршрутов вместо отдельных URL-адресов или идентификаторов пользователей.

Затем параллельно проанализируйте загрузку, очереди, время обработки запросов к базе данных и частоту ошибок за тот же период. Увеличение очереди при одновременном росте показателя P99 является отправной точкой для исследования, но ещё не является доказательством того, что именно она вызывает задержку. Проверьте также, относятся ли эти показатели к одной и той же службе и сопоставимым группам запросов.

Помогают при выполнении отдельных медленных действий Следы а также целенаправленно отобранные журналы, если они доступны и связаны с контекстом запроса. Например, трассировка может показать, какой участок пути запроса занимает много времени. Однако необходимо ли именно этот участок является причиной, следует проверить впоследствии на основе дополнительных наблюдений.

О том, как метрики, логи и трасы дополняют друг друга при решении текущих эксплуатационных вопросов, рассказывается в статье по теме Наблюдаемость в хостинге. Для очередей также используется Мониторинг почтовой очереди похожий вариант применения: в данном случае речь идет о доставке сообщений, а не непосредственно о задержке HTTP-запроса.

При каждом сравнении фиксируйте, какие временные интервалы и точки измерения участвуют в анализе. Одновременное увеличение времени обработки данных в базе и задержки сервера может послужить основанием для дополнительной проверки, однако сама по себе временная корреляция не доказывает причинно-следственной связи. На наблюдаемую картину также могут влиять изменения в трафике или в инструментарии.

Качество данных и операционные решения

При низкой нагрузке P99 сильно реагирует на отдельные наблюдения. Десять запросов в одном окне не позволяют обеспечить такую же стабильную классификацию, как при большом объёме запросов; поэтому рядом с процентилем следует отображать количество наблюдений. В случае сигналов тревоги установление минимального количества может помочь учесть их значимость, не исключая при этом из мониторинга службы с низкой загрузкой.

A пустое окно означает отсутствие зарегистрированных запросов и задержку, равную нулю миллисекунд. Отображайте отсутствующие или не определённые значения в панели мониторинга соответствующим образом и отдельно решайте, является ли отсутствие трафика само по себе проблемой. Таким образом, недостаток данных не будет по ошибке интерпретироваться как особенно быстрый ответ.

Кроме того, временные интервалы нельзя объединять произвольно: пятиминутный P99 описывает иное окно, чем суточный P99. Среднее значение отдельных минутных P99, как правило, не даёт суточного P99. Для суточной оценки тебе потребуются исходные агрегируемые данные распределения за нужный период.

Die Разрешение Bucket определяет, насколько точно гистограмма может отобразить интересующий нас порог. Более точные пороги могут улучшить оценку в соответствующем диапазоне, однако в случае классических гистограмм требуют дополнительных временных рядов и, следовательно, большего объема памяти. Сравните эти затраты с пользой для конкретного операционного решения.

Для текущей оценки показатели дополняют друг друга: среднее значение отражает среднюю продолжительность, P95 и P99 выявляют участки с низкой скоростью, а доля пороговых значений позволяет оценить достижение конкретно заданного целевого показателя задержки. Объем запросов и уровень ошибок дают контекст для интерпретации этих значений. Ни один отдельный показатель не заменяет проверку точки измерения, периода времени и качества данных.

Источники и современное состояние исследований

Состояние поиска:

Данные на 16 ноября 2026 года; правила OpenTelemetry из ветки разработки не являются гарантией для установленных версий.

https://sre.google/workbook/monitoring/

https://prometheus.io/docs/practices/histograms/

https://github.com/open-telemetry/semantic-conventions/blob/main/docs/http/http-metrics.md

https://prometheus.io/docs/specs/native_histograms/

https://grafana.com/docs/grafana/latest/datasources/prometheus/query-editor/

Текущие статьи

Иллюстрация, созданная с помощью ИИ, изображающая плотную группу и несколько отдельно стоящих фигур, символизирующая медленные запросы
Администрация

Мониторинг хостинга с использованием процентилей: P95 и P99 вместо одного лишь среднего значения

P95 и P99 отражают участки с низкой скоростью распределения запросов, которые в среднем могут быть упущены. Решающее значение имеют точка измерения, период времени, объем запросов и точность данных гистограммы.

Иллюстрация, сгенерированная с помощью ИИ, на которой изображены несколько однотипных узлов Anycast рядом с отдельными конечными точками Unicast.
веб-хостинг

Anycast DNS и Unicast DNS: преимущества и ограничения для веб-сайтов

Anycast DNS позволяет обрабатывать авторитетные запросы через несколько локаций. В каких случаях это полезно для веб-сайта, когда достаточно Unicast и на что следует обратить внимание при выборе DNS-хостинга.

Созданная с помощью ИИ иллюстрация в форме часов с тремя путями, ведущими к разным типам заданий
Плэск

Запланированные задачи Plesk: безопасная настройка и мониторинг заданий Cron

Запланированные задачи Plesk запускают PHP-скрипты, HTTP-конечные точки или команды по расписанию. Узнайте, как выбрать подходящий тип задачи, проверить права доступа и часовой пояс, а также устранить ошибки.