PCIe 5.0 SSD'er i datacentret: Markedsføring eller reel ydelsesforbedring?

PCIe 5.0, NVMe og SSD adskilles

For at kunne foretage en pålidelig vurdering skal man skelne mellem tre niveauer: PCIe Transportbussen er forbindelsen mellem værten og enheden, NVMe er det underliggende protokol for ikke-flygtig hukommelse, og SSD’en er det konkrete drev med controller, NAND-flash og firmware. En hurtig PCIe-forbindelse beskriver derfor i første omgang kun den mulige tilslutning; den definerer hverken SSD’ens interne databehandling eller en applikations ydeevne.

PCIe 5.0 kører med 32,0 GT/s pr. lane, mens PCIe 4.0 når op på 16,0 GT/s pr. lane. Dermed fordobles signalhastigheden pr. lane og dermed også den teoretisk tilgængelige linkbåndbredde i forhold til Gen4. Denne udtalelse vedrører dog kun overførselsvejen: Den er ikke en garanti for, at databaseforespørgsler, virtuelle maskiner eller AI-opgaver også vil køre dobbelt så hurtigt.

I et typisk tilfælde x4-tilslutning Størrelsesordenen kan udledes af oplysningerne fra PCI-SIG. Ifølge PCI-SIG leverer en PCIe 5.0 x32-forbindelse 128 GB/s effektiv råbåndbredde i hver retning. Fire baner udgør en ottendedel af 32 baner, hvilket matematisk set giver ca. 16 GB/s i hver retning for PCIe 5.0 x4. Dette er en angivelse for forbindelsen og ikke en opnåelig SSD-gennemstrømning; yderligere protokoldele samt controller, NAND og firmware reducerer eller begrænser den anvendelige ydeevne.

Derudover begrænser SSD-controlleren, antallet og opbygningen af NAND-chips, firmwarealgoritmer samt det konkrete læse- og skrivemønster. Lav kødybde eller små, blandede adgangsforespørgsler kan bremse en applikation, selvom PCIe-forbindelsen teoretisk set stadig har reserver. Omvendt kan en parallel, sekventiel datastrøm udnytte en hurtigere host-forbindelse på en fornuftig måde, uden at dette bliver en generel regel for ydeevnen.

Til indkøb af Serverlagring Er det afgørende spørgsmål derfor ikke blot „Gen4 eller Gen5?“. Man skal snarere undersøge, om den eksisterende PCIe-bane, selve SSD’en og den reelle I/O-arbejdsbyrde udgør den samme flaskehals. Først når disse niveauer passer sammen, kan den ekstra overførselshastighed ved PCIe 5.0 blive praktisk relevant for applikationen.

Hvorfor Enterprise SSD’er vurderes anderledes

En Enterprise SSD vælges ikke udelukkende på baggrund af sekventiel MB/s. I datacentret tæller ud over ydeevne først og fremmest planlægbar kontinuerlig drift, driftsovervågning og integration i serverplatforme. Forbrugermodeller kan være teknisk egnede til enkelte opgaver, men opfylder ikke automatisk kravene til tilgængelighed, vedligeholdelse, beskyttelsesmekanismer og kvalificerede firmware-stier i et produktivt miljø.

Der er markante forskelle i designet: Enterprise-drev fås f.eks. i U.2-, E1.S- eller E3.S-formater og kan dermed tilpasses til hot-swap-skuffer, kompakte serverkonfigurationer og specificeret køling. Solidigm D7 PS1010-serien fås for eksempel i U.2-, E1.S- og E3.S-formfaktorer. Formfaktoren er derfor med til at bestemme backplane, luftgennemstrømning, kapacitetsdensitet og den senere udskiftelighed.

Die Endurance-klassen skal passe til skriveprofilen. Høje overførselshastigheder kan ikke erstatte en passende skriveholdbarhed: Logning, streaming og database-skrivninger medfører andre belastninger end overvejende læsebaserede analyseopgaver. Solidigm positionerer D7-PS1010 som standardudgaven med høj holdbarhed og D7-PS1030 som mid-endurance-varianten. Kapacitet, ydeevne og tilladt skrivebelastning er derfor udvælgelseskriterier, der skal vurderes hver for sig.

Det er også vigtigt Beskyttelse mod strømtab og telemetri. Beskyttelse mod strømsvigt kan bidrage til, at allerede påbegyndte skriveoperationer håndteres på en kontrolleret måde; telemetridata understøtter overvågningen af tilstand, temperatur og slitage. Afhængigt af miljøet bør indkøbskravene også omfatte krypteringsfunktioner, sikre sletningsprocedurer og sporbar firmware-support. Deres konkrete tilgængelighed skal dog altid kontrolleres for den enkelte model og konfiguration.

En anden funktion, der er typisk for enterprise-løsninger, kan være dual-port-drift. Samsungs PM1743 markedsføres som en PCIe 5.0-enterprise-SSD med denne funktion, hvilket kan være relevant for visse arkitekturer med høj tilgængelighed. Det betyder dog ikke, at alle Gen5-SSD'er understøtter dual-port, eller at denne egenskab er nødvendig for alle servere. Eksemplet viser snarere, hvorfor datablade og platformskrav skal læses i sammenhæng.

Heller ikke produktnavne kan erstatte den tekniske test. Micron 9550-serien dokumenterer blandt andet høje ydeevneværdier og specificerede testprofiler; heraf kan man dog ikke udlede en generel egnethed til ethvert rack. Et velovervejet valg kombinerer det konkrete drevs egenskaber med udholdenhedsmål, servicekoncept, formfaktor, sikkerhedskrav og den faktisk eksisterende serverarkitektur.

Platformen bestemmer den mulige linkhastighed

En PCIe 5.0-SSD kan kun nå sin maksimale linkhastighed, hvis hele forbindelsesstien understøtter Gen5. Dette omfatter CPU-platformen og root-porten, bundkortet, riseren eller kablet, backplane, eventuelt en PCIe-switch, drevskuffen samt firmwaren i de involverede komponenter. En enkelt Gen5-kompatibel komponent er ikke nok, da forbindelsen mellem de involverede komponenter fungerer med en hastighed og båndbredde, som alle understøtter.

PCIe 5.0 er kompatibelt med tidligere PCIe-generationer. Hvis et Gen5-drev tilsluttes en bane, der udelukkende understøtter Gen4, kan det derfor i princippet fungere, men kun med den linkhastighed, som denne konfiguration understøtter. SSD’en får ikke en Gen5-forbindelse i denne situation; den kan dog stadig bruges ved et senere platformskift, forudsat at formfaktor, firmware og servergodkendelser også passer.

Der skal lægges særlig vægt på PCIe-topologi. Flere drev kan være tilsluttet processoren via en switch eller en fælles uplink-forbindelse. I så fald er SSD’ens individuelle forbindelse ikke nødvendigvis den begrænsende faktor: Ved parallel belastning kan den fælles uplink hurtigere nå sin kapacitetsgrænse. Det samme gælder, hvis yderligere acceleratorer, netværkskort eller andre udvidelseskort forsynes fra det samme lane-budget.

Det tilgængelige Lane-budget er derfor en planlægningsfaktor, ikke blot en angivelse i databladet. Fire x4-SSD’er kræver i alt 16 baner på deres enhedsforbindelser, men deres samlede båndbredde afhænger af, hvordan disse forbindelser er tilsluttet root-porte og switch-uplinks. For at opnå høje samlede gennemstrømninger kan en arkitektur med flere parallelle drev være mere hensigtsmæssig end udskiftning af et enkelt enhed.

Inden du køber, bør du sammenligne serverhåndbogen og kompatibilitetslisterne med den konkrete konfiguration. Det er vigtigt at tage højde for understøttede generationer og bredde pr. slot, begrænsninger ved fuld udnyttelse, backplane- og riser-varianter samt tilgængelige firmwareversioner. Først denne kontrol skelner mellem en teoretisk hurtig Enterprise SSD og en konfiguration, der rent faktisk kan udnytte sin Gen5-forbindelse i en produktiv server.

Læs og sammenlign producentens oplysninger korrekt

Værdierne i databladet beskriver klart afgrænsede målesituationer og ikke nødvendigvis ydeevnen ved en server-workload. For Micron 9550 angiver producenten op til 14.000 MB/s sekventiel læsning, 10.000 MB/s skrivning samt op til 3,3 millioner 4-KiB-læse-IOPS. Disse størrelser besvarer forskellige spørgsmål: MB/s angiver store, sammenhængende overførsler; IOPS beskriver antallet af små ind- og udlæsninger pr. tidsenhed.

Det afgørende er måleparametrene. De nævnte sekventielle værdier er baseret på 128-KiB-overførsler ved en kødybde på 32, mens de tilfældige 4-KiB-værdier er baseret på en kødybde på 512 og en defineret steady state. En database med få samtidige forespørgsler kan derfor opnå betydeligt lavere IOPS på trods af en hurtig SSD. Også læse-/skriveforholdet, kapacitetsvarianten og fyldningsgraden påvirker billedet.

PCI-SIG betegner båndbreddeangivelserne som linkets effektive råbåndbredde. For at beregne den anvendelige SSD-gennemstrømning skal der tages højde for yderligere protokolandele og implementeringsbegrænsninger. En sammenligning af linkgenerationerne viser derfor den tilgængelige transportreserve, men erstatter hverken databladet for det konkrete drev eller en måling med den tilsigtede arbejdsbelastning.

For at kunne foretage pålidelige produktsammenligninger bør producenterne angive overførselsstørrelse, kødybde, adgangsmønster, testmetode og driftsstatus. De SNIA Enterprise PTS definerer derfor metoder, der gør ydelsesmålinger af Enterprise-SSD’er mere gennemsigtige. Den erstatter ikke en egen belastningsanalyse, men hjælper med at undgå, at spidsværdier fra forskellige testprofiler fejlagtigt betragtes som direkte sammenlignelige.

Hvilke arbejdsbelastninger drager virkelig fordel af Gen5

I forbindelse med AI-datapipelines og HPC kan Gen5 være en fordel, hvis store lokale datasæt bremser beregningsprocessen. GPUDirect Storage muliggør direkte DMA-overførsler mellem lageret og GPU-hukommelsen uden en bounce-buffer i CPU-hukommelsen. NVIDIA beskriver beregningspipelines, der er fuldstændigt flyttet over på GPU'en, som et gunstigt anvendelsestilfælde: GPU'en varetager den første og sidste adgang til de data, der flyttes mellem lageret og GPU'en. Dette beskriver en fordel, ikke et universelt, fast funktionskrav. Om GDS hjælper, afhænger af den faktiske datavej, de anvendte API’er og flaskehalsen i lagringsenheden.

I OLTP tæller oftest Tail-latenser og skriveadfærd under belastning i højere grad end sekventielle spidshastigheder. En høj cache-hit-rate betyder, at mange læseadgange slet ikke når frem til SSD’en; CPU-begrænsede forespørgsler forbliver ligeledes CPU-begrænsede ved et drevskift. Man bør derfor måle P95- og P99-latens, commit-latens, I/O-ventetid og kødybden i stedet for udelukkende gennemstrømningen.

Virtualisering kan drage fordel af en hurtigere SSD, hvis mange virtuelle maskiner samtidig genererer tilfældig I/O, og lagringsforsinkelser begrænser konsolideringen. Denne antagelse betegnes som Planlægningsheuristik skal betragtes som et specifikt resultat for Gen5 og ikke som et generelt resultat. CPU-klar-tid, RAM-belastning, fælles PCIe-uplinks og et distribueret lagringssystem kan begrænse den samme arbejdsbyrde i højere grad end det enkelte drev.

Også inden for analytics, ETL, backup og arkivering afhænger købsbeslutningen af den målte flaskehals. Store parallelle lokale overførsler kan udnytte en højere linkbåndbredde, mens netværket, komprimeringen eller målsystemet kan begrænse effekten ved sikkerhedskopieringsopgaver. Sammenlign derfor den samlede jobkørselstid og end-to-end-gennemstrømningen i stedet for at drage direkte konklusioner om applikationsydelsen ud fra den sekventielle SSD-spidsværdi.

Pipelines med intensiv skrivning kræver desuden den rette udholdenhedsklasse. Solidigm positionerer D7-PS1010 som standardudholdenhedsmodellen og D7-PS1030 som mellemudholdenhedsmodellen. Dette medfører ikke et generelt produktvalg, men en regel for planlægningen: Ydeevne, kapacitet og tilladt skrivebelastning er separate kriterier og skal passe til den faktiske skriveprofil.

Måleplan for serverlagring før indkøb

Start ikke kapacitetsplanlægningen med en syntetisk top-benchmark, men med udgangsdata fra den produktionsnære drift. Definer til dette formål nogle få repræsentative belastningsscenarier: f.eks. databasetransaktioner, spidsbelastninger ved opstart af virtuelle maskiner eller en ETL-kørsel. Adskil koldstart fra Stabil tilstand; fyldte cacher og længerevarende skrivebelastning kan føre til helt andre resultater. Det samme metodiske princip forklares i artiklen Sådan måler du ydeevnen korrekt efter WordPress-opdateringer med udgangspunkt i cacheafhængige hostingbelastninger.

Vis værdier for hver belastningsscenarie: P95/P99-latens, commit-latens, I/O-ventetid, køudnyttelse og cache-hit-rate samlet. En lang kø ved lav SSD-udnyttelse kan tyde på en overordnet flaskehals; en høj cache-hit-rate forklarer derimod, hvorfor en hurtigere SSD næppe mærkes. Inddrag desuden CPU-, RAM- og netværksmetrikker, så lagring ikke forhastet betragtes som årsagen.

Kontroller før hver ydeevneevaluering, hvilke enheder systemet genkender. På en Linux-server, hvor nvme-cli er installeret, fungerer nvme list Statusoversigten: Ifølge projektdokumentationen gennemsøger kommandoen sysfs-træet efter NVMe-enheder og viser deres enhedsknuder samt tilhørende oplysninger. Beskriv derfor først de registrerede enheder, inden du sammenligner ydeevneværdier.

nvme list

Et udgangspunkt for PCIe-diagnosen er følgende eksempler fra den ældre Red Hat-vejledning til OpenStack Platform 10: LnkCap sikrer der den maksimale forbindelseshastighed og LnkSta analyseret for den aktuelle linkstatus. Dette er ikke en aktuel Gen5-platformgodkendelse. Erstat eksempeladressen med din enheds PCI-adresse, og sammenlign syntaksen, den fulde udskrift og betydningen med den lokalt installerede pciutils-dokumentation og serverhåndbogen.

lspci -s 81:00.0 -vv | grep LnkCap
lspci -s 81:00.0 -vv | grep LnkSta

Hvad angår sundhedsdata, angiver den citerede nvme-cli-Master-dokumentation smart-log som et forældet alias for log smart; aliaset er beregnet til ældre scripts, mens nye scripts bør bruge den nye form. Master beskriver dog udviklingsstadiet og ikke nødvendigvis kommandoomfanget i en stabil distributionsversion. Kontroller derfor først den installerede pakkeversion og dens hjælp eller man-side. Brug udelukkende den kommandoform, der er dokumenteret der, og udskift eksemplet på enhedsstien, så det passer til dit system. Der udledes her ikke en generel versionsgrænse ud fra dette.

# Nur die lokal dokumentierte Befehlsform verwenden:
nvme log smart /dev/nvme0

# Alternative, wenn lokal dokumentiert:
nvme smart-log /dev/nvme0

En generel destruktiv benchmark er uegnet til produktive systemer: Den kan overskrive data, påvirke cacher eller give et ikke-repræsentativt resultat på grund af en atypisk kødybde. Sammenlign i stedet de samme anvendelsesscenarier før og efter et planlagt hardwareudskiftning. Dokumentér firmwareversion, kapacitet, fyldningsgrad, temperatur og topologi, så afvigelser senere kan spores.

Planlægning af afkøling, udholdenhed og vedvarende ydeevne

De maksimale værdier i datablade beskriver definerede testprofiler og ikke nødvendigvis den kontinuerlige drift af en server under belastning. Med stigende belastning, ved blandede skriveoperationer og under Affaldsindsamling skal en SSD omorganisere data. NAND-styring og det konkrete skrivemønster kan derfor påvirke gennemstrømningen og især ventetiden i forhold til korte, tomme testkørsler. Tallene bliver først sammenlignelige, når driftsprofilen og steady state tages i betragtning.

Også temperaturen indgår i ydeevneplanlægningen. D7-PS1010-serien omfatter U.2, E1.S og E3.S; Solidigm skelner inden for E1.S mellem luftkølede udgaver og en variant til direkte væskekøling med ensidig cold plate. E1.S alene betyder derfor ikke væskekøling. Kontroller den konkret bestilte model og højde samt dens kompatibilitet med server, slot og eventuelt kølplade. For luftkølede modeller skal godkendt strømforbrug, luftstrøm, slotafstande og indgangstemperatur indgå i platformskontrollen.

Die Endurance-klassen skal vælges uafhængigt af grænsefladegenerationen. Til kontinuerlig log-indlæsning eller skrivecacher kan en model med mellemstor udholdenhed være mere velegnet end en model designet til standardudholdenhed, selvom begge læser med tilsvarende hastighed. Kapaciteten påvirker ikke kun omkostningerne og det anvendelige rum, men kan også, afhængigt af modellen, ændre udholdenheden og ydeevneprofilen.

Systematisk indsnævring af typiske Gen5-fejl

Start ikke fejlsøgningen med at udskifte SSD’en, men med det angivne link. En lavere hastighed er i første omgang et diagnoseresultat og endnu ikke en entydig årsag. Sammenlign de oplysninger, der er beskrevet i måleplanen LnkSta og LnkCap under hensyntagen til den lokale værktøjsdokumentation; den nævnte ældre OpenStack-vejledning viser denne grundlæggende kontrol, men erstatter ikke den aktuelle serverdokumentation. Sammenlign derefter slotbesættelse, riser, backplane, switch-sti og firmwareversion med platformens specifikationer.

Hvis linket er korrekt, følger dette Køadfærd i applikationen. Lave IOPS-værdier ved lav kødybde er ikke nødvendigvis tegn på en fejl i SSD’en; ligeledes kan en overbelastet fælles uplink begrænse flere drev. Kontroller derfor I/O-ventetid, køudnyttelse, læse/skrive-fordeling og latenstidspersentiler sideløbende med CPU-, hukommelses- og netværksmetrikker. Først sammenhængen viser, om lagringen ligger på den kritiske vej.

Ved GPU-nære dataveje er en teoretisk direkte PCIe-vej ikke tilstrækkelig. GPUDirect Storage kræver en passende hardware- og softwarekonfiguration; ACS og IOMMU kan, afhængigt af topologien, dirigere data via CPU-root-porte. Ændringer af disse funktioner har indflydelse på isolering, sikkerhed og virtualisering. De må derfor kun foretages efter en arkitekturvurdering og en dokumenteret risikovurdering, ikke som en generel præstationsindstilling.

Hvis ydeevnen forbliver ustabil under belastning, skal du derefter kontrollere temperaturen, sundhedsdataene og applikationsbelastningen. Vælg SMART-kommandoen ud fra den installerede pakkeversion og dens man-side. Den nævnte master-dokumentation anbefaler nvme log smart og fører nvme smart-log som et forældet alias; det afspejler ikke omfanget af hver stabil distribution. Sammenlign koldstart og steady state hver for sig, og noter målebetingelserne, i stedet for at konkludere, at der er tale om en fejl, ud fra en enkelt afvigelse.

Hvornår skal man købe Gen5, og hvornår skal man beholde Gen4?

En PCIe 5.0-SSD er berettiget, hvis måledata viser, at der er en flaskehals i lagrings- eller host-forbindelsen, og at hele platformen rent faktisk understøtter Gen5. Relevante fund er tilbagevendende høj købelastning, utilstrækkelig gennemstrømning eller problematisk latenstid under repræsentativ belastning. PCIe 5.0 fordobler den understøttede bithastighed pr. lane i forhold til PCIe 4.0; dette medfører dog ikke automatisk en hurtigere applikation.

Det er hensigtsmæssigt at fortsætte med Gen4, hvis de eksisterende drev ikke udnyttes fuldt ud, hvis serverplatformen kun understøtter Gen4, eller hvis CPU, RAM og netværk begrænser tjenesten. Selv ved lav parallelitet eller høj cache-hit-rate kan forskellen i applikationen forblive lille. Det sparede budget kan i så fald anvendes mere effektivt til kapacitet, redundans, arbejdshukommelse eller afhjælpning af den påviste flaskehals.

Færre Gen5-drev er ikke nødvendigvis bedre end flere Gen4-enheder. For at opnå høje samlede hastigheder er det antallet af parallelle baner, der tæller, det Lane-budget og uplinkene fra switche eller root-porte. Hvad angår lokale lagringsstier tæt på GPU'en, beskriver NVIDIA, at der kan være behov for flere x4-NVMe-enheder og parallelle overførsler for at udnytte en x16-PCIe-forbindelse fuldt ud. Dette er en udtalelse om GDS-topologien og ikke en generel regel for antallet af enheder i en server.

NVMe over Fabrics eller disaggregeret lagring er derimod en mulighed, når kapaciteten skal fordeles fleksibelt mellem værter. Her er det desuden NIC’er, netværksswitche, protokolstier og driftsmodellen, der afgør den opnåelige ydeevne. Lokale NVMe-SSD’er prioriterer dataveje tæt på værten; centrale systemer kan muliggøre fælles brug og uafhængig skalering. Begge tilgange skal afvejes i forhold til kravene til latenstid, tilgængelighed og drift.

Inden anskaffelsen bør arbejdsbelastningen og målevinduet være fastlagt, linkhastigheden og topologien kontrolleret, samt kapacitet, holdbarhed, køling, firmware-support og beskyttelsesfunktioner være afstemt på en bindende måde. Derudover skal strømforsyning, rack-miljø og skaleringsmuligheder indgå i beslutningen om infrastrukturen. Artiklen redegør for konkrete kriterier herfor Kriterier for valg af det rigtige datacenter. Købsbeslutningen baseres således på den påviste flaskehals i stedet for en enkelt spidsværdi.