SSD-накопители PCIe 5.0 в центре обработки данных: маркетинговый ход или реальное повышение производительности?

PCIe 5.0, NVMe и SSD — разбор

Для объективной оценки необходимо разграничить три уровня: PCIe Транспортный канал — это связь между хостом и устройством, NVMe — протокол для энергонезависимой памяти, реализованный на его основе, а SSD — конкретный накопитель с контроллером, NAND-флэш-памятью и прошивкой. Таким образом, быстрое соединение по PCIe в первую очередь описывает лишь возможный способ подключения; оно не определяет ни внутреннюю обработку данных SSD, ни производительность приложения.

PCIe 5.0 работает со скоростью 32,0 GT/с на канал, тогда как PCIe 4.0 достигает 16,0 GT/с на канал. Таким образом, скорость передачи сигнала на канал удваивается, а значит, и теоретически доступная пропускная способность канала по сравнению с Gen4. Однако это утверждение касается только канала передачи данных: оно не гарантирует, что запросы к базе данных, виртуальные машины или задачи искусственного интеллекта будут выполняться в два раза быстрее.

В типичном случае Подключение x4 Порядок величин можно определить на основе данных PCI-SIG. Согласно PCI-SIG, канал PCIe 5.0 x32 обеспечивает эффективную сырую пропускную способность 128 ГБ/с в каждом направлении. Четыре линии составляют одну восьмую от 32 линий, поэтому для PCIe 5.0 x4 теоретически получается около 16 ГБ/с в каждом направлении. Это показатель канала, а не достижимая пропускная способность SSD; дополнительные доли протокола, а также контроллер, NAND-память и прошивка снижают или ограничивают полезную производительность.

Кроме того, ограничивающими факторами являются контроллер SSD, количество и расположение микросхем NAND, алгоритмы прошивки, а также конкретные схемы чтения и записи. Небольшая глубина очереди или мелкие смешанные операции доступа могут замедлять работу приложения, хотя канал PCIe теоретически ещё имеет резервы пропускной способности. И наоборот, параллельный последовательный поток данных может эффективно использовать более быстрое подключение к хосту, хотя это и не является общим правилом производительности.

Для закупки Серверное хранилище Поэтому ключевой вопрос заключается не только в том, „Gen4 или Gen5?“. Следует скорее проверить, составляют ли существующий канал PCIe, сам SSD и реальная нагрузка ввода-вывода одно и то же узкое место. Только когда эти уровни совпадают, дополнительная пропускная способность PCIe 5.0 может стать практически значимой для приложения.

Почему корпоративные SSD оцениваются по-другому

A Корпоративный SSD выбирается не только исходя из показателя последовательной скорости в МБ/с. В центре обработки данных, помимо производительности, важную роль играют, прежде всего, возможность планирования непрерывной работы, мониторинг работы и интеграция в серверные платформы. Потребительские модели могут быть технически пригодны для выполнения отдельных задач, но не всегда соответствуют требованиям к доступности, обслуживанию, механизмам защиты и квалифицированным путям обновления прошивки в производственной среде.

В плане форм-факторов наблюдаются значительные различия: диски корпоративного класса, например, выпускаются в форматах U.2, E1.S или E3.S, что позволяет использовать их в отсеках с возможностью «горячей» замены, в серверах с плотной компоновкой и с определенной системой охлаждения. Например, серия Solidigm D7 PS1010 доступна в форм-факторах U.2, E1.S и E3.S. Таким образом, форм-фактор определяет выбор объединительной платы, схему воздушного потока, плотность емкости и возможность последующей замены.

Die Класс «Эндуранс» должен соответствовать профилю записи. Высокая скорость передачи данных не заменяет подходящей стойкости к записи: ведение журналов, потоковая передача данных и запись в базы данных создают иные нагрузки, чем аналитические рабочие нагрузки, в которых преобладает чтение. Solidigm позиционирует модель D7-PS1010 как вариант со стандартной долговечностью, а модель D7-PS1030 — как вариант со средней долговечностью. Таким образом, емкость, производительность и допустимая нагрузка при записи являются критериями выбора, которые следует оценивать отдельно.

Также важны Защита от потери питания и телеметрия. Защита от сбоев питания позволяет контролируемо обрабатывать уже инициированные операции записи; данные телеметрии помогают отслеживать состояние, температуру и степень износа. В зависимости от условий эксплуатации в требования к закупке также должны входить функции шифрования, безопасные методы удаления данных и прозрачная поддержка прошивки. Однако их конкретное наличие всегда необходимо проверять для каждой модели и конфигурации.

Еще одной особенностью корпоративных решений может быть поддержка двухпортового режима работы. Модель PM1743 от Samsung позиционируется как корпоративный SSD-накопитель с интерфейсом PCIe 5.0, обладающий этой функцией, что может быть актуально для определенных архитектур с высокой доступностью. Из этого не следует, что каждый SSD Gen5 поддерживает работу в режиме двух портов или что эта особенность необходима для каждого сервера. Этот пример скорее демонстрирует, почему необходимо комплексно анализировать технические характеристики и требования к платформе.

Даже названия продуктов не могут заменить техническую проверку. Серия Micron 9550, в частности, демонстрирует высокие показатели производительности и соответствие заданным тестовым профилям; однако из этого нельзя сделать вывод об универсальной пригодности для любого серверного шкафа. Обоснованный выбор учитывает сочетание характеристик конкретного диска с целями по сроку службы, концепцией обслуживания, форм-фактором, требованиями безопасности и фактической архитектурой сервера.

Платформа определяет допустимую скорость обмена данными

SSD с интерфейсом PCIe 5.0 может достичь своей максимальной скорости передачи данных только в том случае, если весь тракт поддерживает Gen5. К нему относятся процессорная платформа и корневой порт, материнская плата, райзер или кабель, объединительная плата, при необходимости — коммутатор PCIe, отсек для накопителя, а также прошивка всех вовлечённых компонентов. Одного компонента с поддержкой Gen5 недостаточно, поскольку соединение между всеми участвующими компонентами работает со скоростью и пропускной способностью, совместно поддерживаемыми всеми компонентами.

PCIe 5.0 совместим с предыдущими поколениями PCIe. Поэтому если накопитель Gen5 подключить к шине, поддерживающей только Gen4, он в принципе сможет работать, но только со скоростью передачи данных, поддерживаемой данной конфигурацией. В этом случае SSD не получает подключения по стандарту Gen5; тем не менее, при последующей смене платформы он может оставаться пригодным для дальнейшего использования, при условии, что форм-фактор, прошивка и серверные сертификаты также соответствуют требованиям.

Особого внимания требует Топология PCIe. К процессору может быть подключено несколько накопителей через коммутатор или общий канал связи. В таком случае отдельный канал SSD не обязательно будет ограничивающим фактором: при параллельной нагрузке общий канал связи может быть загружен раньше. То же самое относится к случаям, когда дополнительные ускорители, сетевые карты или другие платы расширения питаются из того же бюджета линий.

Имеющееся в наличии Бюджет полосы поэтому является параметром для планирования, а не просто указанием в техническом паспорте. Четыре SSD-накопителя x4 требуют в общей сложности 16 линий на своих кабелях, однако их совокупная пропускная способность зависит от того, как эти кабели подключены к корневым портам и восходящим каналам коммутатора. Для обеспечения высокой общей пропускной способности архитектура с несколькими параллельными накопителями может оказаться более целесообразной, чем замена одного устройства.

Перед покупкой тебе следует сверить руководство по серверу и списки совместимости с конкретной комплектацией. Важно учитывать поддерживаемое поколение и ширину на слот, ограничения при полном заполнении, варианты задней платы и райзеров, а также доступные версии прошивки. Только такая проверка позволяет отличить теоретически быстрый SSD корпоративного класса от конфигурации, которая действительно способна обеспечить работу интерфейса Gen5 на рабочем сервере.

Правильно читать и сравнивать данные производителя

Значения, указанные в техническом паспорте, отражают четко очерченные условия измерения, но не обязательно соответствуют производительности при серверной нагрузке. Для модели Micron 9550 производитель указывает скорость последовательного чтения до 14 000 МБ/с, скорость записи до 10 000 МБ/с, а также до 3,3 миллиона операций чтения 4-КиБ в секунду (IOPS). Эти показатели отвечают на разные вопросы: МБ/с характеризует крупные непрерывные передачи данных; IOPS описывает количество мелких операций ввода-вывода за единицу времени.

Решающую роль играют параметры измерения. Указанные последовательные значения основаны на передаче блоков размером 128 КиБ при глубине очереди 32, а значения случайных операций с блоками размером 4 КиБ — на глубине очереди 512 и заданном стационарном состоянии. Поэтому база данных с небольшим количеством одновременных запросов может демонстрировать значительно более низкие показатели IOPS, несмотря на использование быстрого SSD. На результаты также влияют соотношение операций чтения и записи, вариант емкости и степень заполненности.

PCI-SIG определяет указанные значения пропускной способности как эффективную исходную пропускную способность канала. Для расчета полезной пропускной способности SSD необходимо учитывать дополнительные доли протокола и ограничения реализации. Поэтому сравнение поколений каналов связи показывает доступный резерв пропускной способности, но не заменяет ни технических характеристик конкретного накопителя, ни измерений с использованием предусмотренной рабочей нагрузки.

Для проведения достоверных сравнений продуктов производители должны указывать размер передачи, глубину очереди, схемы доступа, метод тестирования и рабочий режим. Эти SNIA Enterprise PTS для этого определяет методы, которые позволяют сделать результаты измерений производительности корпоративных SSD-накопителей более понятными. Она не заменяет собственный анализ нагрузки, но помогает избежать ошибочного представления пиковых значений из разных тестовых профилей как непосредственно сопоставимых.

Какие рабочие нагрузки действительно выиграют от Gen5

В случае конвейеров данных для ИИ и высокопроизводительных вычислений (HPC) Gen5 может оказаться целесообразным, если большие локальные наборы данных замедляют процесс вычислений. Технология GPUDirect Storage обеспечивает прямую передачу данных по DMA между хранилищем и памятью GPU без промежуточного буфера в оперативной памяти ЦП. NVIDIA описывает полностью перенесённые на графический процессор вычислительные конвейеры как подходящий вариант применения: графический процессор осуществляет первый и последний доступ к данным, перемещаемым между хранилищем и графическим процессором. Это описывает профиль полезности, а не универсальное жёсткое функциональное требование. Поможет ли GDS, зависит от фактического пути данных, используемых API и места, где возникает узкое место в системе хранения.

В случае OLTP обычно учитываются Задержки хвоста а также на поведение записи под нагрузкой в большей степени, чем последовательные пиковые скорости. Высокий коэффициент попадания в кэш приводит к тому, что многие запросы на чтение вообще не доходят до SSD; запросы, ограниченные производительностью ЦП, остаются ограниченными ЦП и при замене диска. Поэтому следует измерять задержки P95 и P99, задержку фиксации, время ожидания ввода-вывода и глубину очереди, а не только пропускную способность.

Виртуализация может выиграть от использования более быстрого SSD, если множество виртуальных машин одновременно генерируют произвольные операции ввода-вывода, а задержки в системе хранения ограничивают возможности консолидации. Это предположение следует рассматривать как Эвристика планирования не следует рассматривать как общий результат теста Gen5. Время готовности ЦП, загрузка ОЗУ, общие каналы PCIe и распределенная система хранения могут ограничивать ту же рабочую нагрузку в большей степени, чем отдельный диск.

В сфере аналитики, ETL, резервного копирования и архивирования решение о покупке также зависит от выявленных узких мест. Крупные параллельные локальные передачи данных могут использовать более высокую пропускную способность канала, в то время как сеть, сжатие или целевая система могут ограничивать этот эффект при выполнении задач резервного копирования. Поэтому сравнивайте полное время выполнения задания и сквозную пропускную способность, а не делайте выводы о производительности приложения непосредственно на основе пиковых значений последовательной скорости SSD.

Конвейеры с интенсивной записью требуют, кроме прочего, соответствующего класса долговечности. Компания Solidigm позиционирует модель D7-PS1010 как вариант со стандартной долговечностью, а модель D7-PS1030 — как вариант со средней долговечностью. Из этого не следует какого-либо общего правила выбора продукта, но можно сформулировать правило для планирования: производительность, емкость и допустимая нагрузка на запись являются отдельными критериями и должны соответствовать реальному профилю записи.

План измерений для серверного хранилища перед закупкой

Начинайте планирование ресурсов не с искусственного пикового теста, а с исходных данных, полученных в условиях, близких к реальным производственным. Для этого определите несколько репрезентативных сценариев нагрузки: например, транзакции базы данных, пиковые нагрузки при запуске виртуальных машин или прохождение ETL-процесса. Разделите «холодный запуск» от Стабильное состояние; заполненные кэши и длительная нагрузка на запись могут привести к принципиально иным результатам. Этот же методологический принцип объясняется в статье Как правильно измерить производительность после обновлений WordPress на примере хостинг-нагрузок, зависящих от кэша.

Оцените одновременно следующие показатели для каждого сценария нагрузки: задержку P95/P99, задержку фиксации, время ожидания ввода-вывода, загрузку очереди и коэффициент попадания в кэш. Длинная очередь при низкой загрузке SSD может указывать на более общий узкий место; напротив, высокий показатель попадания в кэш объясняет, почему более быстрый SSD практически не дает заметного прироста производительности. Кроме того, учитывайте показатели ЦП, ОЗУ и сети, чтобы не спешить с выводом, что причиной является система хранения данных.

Перед каждой оценкой производительности проверьте, какие устройства распознает система. На сервере Linux с установленным nvme-cli используется nvme list Обзор имеющихся устройств: согласно проектной документации, эта команда выполняет поиск устройств NVMe в дереве sysfs и выводит их узлы, а также сопутствующую информацию. Прежде чем сравнивать показатели производительности, сначала опишите обнаруженные устройства.

nvme list

Отправной точкой для диагностики PCIe служат следующие примеры из старого руководства Red Hat по OpenStack Platform 10: LnkCap там обеспечивается максимальная скорость соединения и LnkSta проанализировано для определения текущего состояния соединения. Это не является текущим разрешением платформы Gen5. Замени адрес из примера на PCI-адрес твоего устройства и сверь синтаксис, полный вывод и значение с документацией по локально установленному pciutils и руководством по эксплуатации сервера.

lspci -s 81:00.0 -vv | grep LnkCap
lspci -s 81:00.0 -vv | grep LnkSta

Что касается данных о здоровье, в приведенной документации по nvme-cli-Master указывается, что smart-log как устаревший псевдоним log smart; этот псевдоним предназначен для старых скриптов, тогда как в новых скриптах следует использовать новую форму. Однако термин «Master» отражает состояние разработки, а не обязательно набор команд стабильной версии дистрибутива. Поэтому сначала проверьте версию установленного пакета и соответствующую справку или страницу man. Используйте ниже исключительно форму команды, задокументированную там, и замените примерный путь к устройству в соответствии с вашей системой. Из этого не следует никакого общего ограничения по версии.

# Nur die lokal dokumentierte Befehlsform verwenden:
nvme log smart /dev/nvme0

# Alternative, wenn lokal dokumentiert:
nvme smart-log /dev/nvme0

Общий деструктивный тест не подходит для производственных систем: он может перезаписать данные, повлиять на кэш или дать нерепрезентативный результат из-за нетипичной глубины очереди. Вместо этого сравните одни и те же сценарии нагрузки приложения до и после запланированной замены оборудования. Зафиксируйте версию прошивки, емкость, уровень заполнения, температуру и топологию, чтобы впоследствии можно было отследить отклонения.

Планирование охлаждения, выносливости и длительной мощности

Пиковые значения, указанные в технических характеристиках, отражают определенные тестовые сценарии, но не обязательно соответствуют режиму непрерывной работы загруженного сервера. По мере увеличения загрузки, при смешанных операциях записи и во время Сбор мусора SSD вынужден перегруппировать данные. Поэтому управление NAND и конкретный алгоритм записи могут влиять на пропускную способность и, в частности, на задержку по сравнению с короткими тестовыми прогонами на пустом диске. Данные становятся сопоставимыми только после учета профиля эксплуатации и установившегося состояния.

Температура также учитывается при планировании производительности. Серия D7-PS1010 включает модели U.2, E1.S и E3.S; в линейке E1.S Solidigm различает версии с воздушным охлаждением и вариант для прямого жидкостного охлаждения с односторонней холодной пластиной. Поэтому само по себе обозначение E1.S не означает жидкостное охлаждение. Проверьте конкретно заказанную версию и высоту корпуса, а также их совместимость с сервером, слотом и, при необходимости, с холодной пластиной. Для моделей с воздушным охлаждением в проверку платформы должны входить утверждённые значения потребляемой мощности, воздушного потока, расстояний между слотами и температуры на входе.

Die Класс «Эндуранс» следует выбирать отдельно от поколения интерфейсов. Для непрерывного сбора журналов или кэшей записи версия со средним сроком службы может оказаться более подходящей, чем модель, рассчитанная на стандартный срок службы, даже если обе обеспечивают одинаковую скорость чтения. Емкость влияет не только на стоимость и занимаемое пространство, но и, в зависимости от модели, может изменять срок службы и профиль производительности.

Систематическое выявление типичных ошибок Gen5

Начинайте поиск неисправностей не с замены SSD, а с проверки ссылки. Более низкая скорость — это, в первую очередь, диагностический результат, а не однозначная причина. Сравните данные, описанные в плане измерений LnkSta и LnkCap с учетом местной документации по инструментам; приведенное выше устаревшее руководство по OpenStack описывает эту базовую проверку, но не заменяет актуальную документацию по серверу. После этого сверьте расположение слотов, райзеры, объединительную плату, маршрут коммутатора и версию прошивки с требованиями платформы.

Если ссылка верна, то далее следует Поведение очереди приложения. Низкие показатели IOPS при небольшой глубине очереди не свидетельствуют о неисправности SSD; аналогичным образом, перегруженный общий канал выхода может ограничивать производительность нескольких дисков. Поэтому проверяйте время ожидания ввода-вывода, загрузку очередей, соотношение чтения и записи, а также процентили задержки одновременно с показателями ЦП, памяти и сети. Только корреляция покажет, находится ли система хранения на критическом пути.

В случае траекторий передачи данных, тесно связанных с графическим процессором, теоретически прямого пути PCIe недостаточно. Для работы GPUDirect Storage требуется соответствующая конфигурация аппаратного и программного обеспечения; в зависимости от топологии ACS и IOMMU могут направлять данные через корневые порты ЦП. Изменения в этих функциях затрагивают вопросы изоляции, безопасности и виртуализации. Поэтому они должны вноситься только после проверки архитектуры и документированной оценки рисков, а не в качестве универсального средства повышения производительности.

Если производительность под нагрузкой остается нестабильной, проверьте температуру, данные о состоянии системы и нагрузку приложений. Выберите команду SMART в соответствии с установленной версией пакета и его справочной страницей. В приведенной документации Master рекомендуется nvme log smart и приводит nvme smart-log как устаревший псевдоним; он не отражает объем каждого стабильного выпуска. Сравните результаты холодного запуска и стабильного состояния отдельно и зафиксируйте условия измерения, вместо того чтобы на основании одного единичного отклонения делать вывод о наличии дефекта.

Когда стоит купить Gen5, а когда лучше остаться на Gen4

Использование SSD с интерфейсом PCIe 5.0 оправдано, если данные измерений свидетельствуют о наличии узкого места в системе хранения или в канале связи с хостом, а также если вся платформа действительно поддерживает Gen5. К соответствующим признакам относятся повторяющаяся высокая загрузка очереди, недостаточная пропускная способность или проблемная задержка при типичной нагрузке. PCIe 5.0 удваивает поддерживаемую скорость передачи данных на канал по сравнению с PCIe 4.0; однако это не приводит к автоматическому ускорению работы приложения.

Продолжение использования Gen4 целесообразно, если имеющиеся диски не загружены до предела, серверная платформа поддерживает только Gen4 или ограничивающими факторами являются процессор, оперативная память и сеть. Даже при низкой степени параллелизма или высокой частоте попаданий в кэш разрыв в производительности приложения может оставаться небольшим. Сэкономленные средства в таком случае можно, при необходимости, более эффективно направить на увеличение емкости, обеспечение избыточности, расширение оперативной памяти или устранение выявленного узкого места.

Несколько накопителей Gen5 не всегда лучше, чем несколько устройств Gen4. Для обеспечения высокой общей пропускной способности важны количество параллельных каналов, а также Бюджет полосы а также восходящие каналы связи от коммутаторов или корневых портов. Что касается локальных путей хранения данных, расположенных рядом с графическими процессорами, компания NVIDIA поясняет, что для полного использования каналов x16 PCIe может потребоваться несколько устройств x4 NVMe и параллельные передачи данных. Это утверждение относится к топологии GDS и не является общим правилом, определяющим количество устройств для серверов.

NVMe over Fabrics или дезагрегированное хранилище, напротив, представляют собой вариант, когда емкость необходимо гибко распределять между хостами. В этом случае на достижимую производительность дополнительно влияют сетевые карты, сетевые коммутаторы, протокольные пути и модель эксплуатации. Локальные SSD-накопители NVMe отдают приоритет каналам передачи данных, расположенным вблизи хоста; централизованные системы могут обеспечить совместное использование и независимое масштабирование. Оба подхода необходимо сопоставить с требованиями к задержке, доступности и эксплуатации.

Перед закупкой необходимо определить рабочую нагрузку и окна измерения, проверить скорость соединения и топологию, а также обязательным образом согласовать пропускную способность, срок службы, систему охлаждения, поддержку прошивки и функции защиты. Кроме того, при принятии решения об инфраструктуре следует учитывать источники питания, условия размещения в стойке и возможности масштабирования. Конкретные критерии для этого изложены в данной статье Критерии выбора подходящего центра обработки данных. Таким образом, решение о покупке принимается с учетом подтвержденного узкого места, а не отдельного пикового значения.