PCIe 5.0 SSD's in het datacenter: marketing of daadwerkelijke prestatiewinst?

PCIe 5.0, NVMe en SSD scheiden

Voor een betrouwbare beoordeling moeten drie niveaus van elkaar worden onderscheiden: PCIe is de transportbus tussen de host en het apparaat, NVMe het daarop gebaseerde protocol voor niet-vluchtig geheugen, en de SSD is de concrete schijf met controller, NAND-flash en firmware. Een snelle PCIe-verbinding beschrijft dus in eerste instantie alleen de mogelijke aansluiting; deze bepaalt noch de interne verwerking van de SSD, noch de prestaties van een toepassing.

PCIe 5.0 werkt met 32,0 GT/s per lane, terwijl PCIe 4.0 16,0 GT/s per lane haalt. Hiermee verdubbelt de signaalsnelheid per lane en daarmee ook de theoretisch beschikbare linkbandbreedte ten opzichte van Gen4. Deze uitspraak heeft echter betrekking op het transmissiepad: het is geen garantie dat databasequery's, virtuele machines of AI-taken ook twee keer zo snel werken.

Bij een typische x4-aansluiting De orde van grootte kan worden afgeleid uit de gegevens van PCI-SIG. Volgens PCI-SIG biedt een PCIe 5.0 x32-verbinding 128 GB/s effectieve ruwe bandbreedte per richting. Vier lanes vormen een achtste van 32 lanes, waardoor voor PCIe 5.0 x4 rekenkundig ongeveer 16 GB/s per richting uitkomt. Dit is een specificatie voor de verbinding en geen haalbare SSD-doorvoersnelheid; andere protocolcomponenten, zoals de controller, NAND en firmware, verminderen of beperken de bruikbare prestaties.

Daarnaast spelen ook de SSD-controller, het aantal en de indeling van de NAND-chips, firmware-algoritmen en het specifieke lees- en schrijfpatroon een rol. Lage wachtrijdieptes of kleine, gemengde toegangsverzoeken kunnen een toepassing vertragen, hoewel de PCIe-verbinding in theorie nog reserves heeft. Omgekeerd kan een parallelle, sequentiële gegevensstroom op zinvolle wijze gebruikmaken van een snellere hostverbinding, zonder dat dit een algemene prestatieregel wordt.

Voor de aanschaf van Serveropslag De cruciale vraag is daarom niet alleen „Gen4 of Gen5?“. Er moet veeleer worden nagegaan of het bestaande PCIe-pad, de SSD zelf en de daadwerkelijke I/O-workload dezelfde bottleneck vormen. Pas wanneer deze niveaus op elkaar zijn afgestemd, kan de extra bandbreedte van PCIe 5.0 praktisch relevant worden voor de toepassing.

Waarom Enterprise SSD's anders worden beoordeeld

A Enterprise SSD wordt niet uitsluitend op basis van sequentiële MB/s geselecteerd. In het datacenter zijn naast prestaties vooral een voorspelbare continue werking, bedrijfsmonitoring en de integratie in serverplatforms van belang. Consumentenmodellen kunnen technisch geschikt zijn voor afzonderlijke taken, maar voldoen niet automatisch aan de eisen op het gebied van beschikbaarheid, onderhoud, beveiligingsmechanismen en gekwalificeerde firmwarepaden in een productieve omgeving.

Wat de vormgeving betreft, zijn er duidelijke verschillen: Enterprise-schijven zijn bijvoorbeeld verkrijgbaar in de formaten U.2, E1.S of E3.S en kunnen daardoor worden ingezet in hot-swap-sleuven, compacte serveropstellingen en systemen met een specifieke koeling. De Solidigm D7 PS1010-serie is bijvoorbeeld verkrijgbaar in de formaten U.2, E1.S en E3.S. Het formaat is dus mede bepalend voor de backplane, de luchtstroom, de capaciteitsdichtheid en de mogelijkheid om de schijf later te vervangen.

De Endurance-klasse moet aansluiten bij het schrijfprofiel. Hoge overdrachtssnelheden zijn geen vervanging voor een geschikte schrijfduurzaamheid: logging, streaming en databaseschrijfbewerkingen zorgen voor andere belastingen dan voornamelijk leesgerichte analytische workloads. Solidigm positioneert de D7-PS1010 als standaardvariant met hoge duurzaamheid en de D7-PS1030 als variant met gemiddelde duurzaamheid. Capaciteit, prestaties en toegestane schrijfbelasting zijn daarom afzonderlijk te beoordelen selectiecriteria.

Ook belangrijk zijn Bescherming tegen stroomuitval en telemetrie. Bescherming bij stroomuitval kan helpen om reeds gestarte schrijfbewerkingen op een gecontroleerde manier af te handelen; telemetriegegevens ondersteunen het toezicht op de toestand, temperatuur en slijtage. Afhankelijk van de omgeving behoren ook versleutelingsfuncties, veilige verwijderingsprocedures en traceerbare firmware-ondersteuning tot de aankoopvereisten. De concrete beschikbaarheid hiervan moet echter altijd per model en configuratie worden gecontroleerd.

Een ander kenmerk voor enterprise-toepassingen kan de dual-port-werking zijn. De PM1743 van Samsung wordt gepositioneerd als een PCIe 5.0 enterprise-SSD met deze functie, wat relevant kan zijn voor bepaalde architecturen met hoge beschikbaarheid. Dit betekent echter niet dat elke Gen5-SSD geschikt is voor dual-port-gebruik of dat deze eigenschap voor elke server noodzakelijk is. Het voorbeeld laat juist zien waarom datasheets en platformvereisten in samenhang moeten worden bekeken.

Ook productnamen vormen geen vervanging voor technische tests. De Micron 9550-serie vermeldt onder andere hoge prestatiecijfers en gespecificeerde testprofielen; daaruit kan echter geen algemene geschiktheid voor elk rack worden afgeleid. Een doordachte keuze combineert de eigenschappen van de specifieke schijf met de beoogde levensduur, het serviceconcept, de vormfactor, de veiligheidseisen en de daadwerkelijk aanwezige serverarchitectuur.

Het platform bepaalt de mogelijke linksnelheid

Een PCIe 5.0-SSD kan zijn maximale verbindingssnelheid alleen bereiken als het gehele traject Gen5 ondersteunt. Hieronder vallen het CPU-platform en de root-poort, het moederbord, de riser of kabel, de backplane, eventueel een PCIe-switch, de schijfhouder en de firmware van de betrokken componenten. Eén enkel Gen5-compatibel onderdeel is niet voldoende, omdat de verbinding tussen de betrokken componenten wordt uitgevoerd met een snelheid en bandbreedte die door alle componenten gezamenlijk worden ondersteund.

PCIe 5.0 is compatibel met eerdere PCIe-generaties. Als een Gen5-schijf wordt aangesloten op een pad dat uitsluitend Gen4 ondersteunt, kan deze in principe wel werken, maar alleen met de linksnelheid die door deze configuratie wordt ondersteund. De SSD krijgt daar geen Gen5-verbinding; bij een latere platformwissel kan deze echter nog steeds worden gebruikt, mits de vormfactor, firmware en serverlicenties ook overeenkomen.

Bijzondere aandacht verdient de PCIe-topologie. Meerdere schijven kunnen via een switch of een gemeenschappelijke uplink-verbinding op de processor zijn aangesloten. In dat geval is de afzonderlijke verbinding van de SSD niet per se de beperkende factor: bij parallelle belasting kan de gemeenschappelijke uplink eerder volledig bezet raken. Hetzelfde geldt wanneer extra versnellers, netwerkkaarten of andere uitbreidingskaarten uit hetzelfde lane-budget worden gevoed.

Het beschikbare Lane-budget is daarom een ontwerpparameter, niet alleen een specificatie in het gegevensblad. Vier x4-SSD’s hebben in totaal 16 lanes nodig op hun apparaatverbindingen, maar hun gezamenlijke bandbreedte hangt af van de manier waarop deze verbindingen zijn aangesloten op root-poorten en switch-uplinks. Voor hoge totale doorvoersnelheden kan een architectuur met meerdere parallelle schijven zinvoller zijn dan het vervangen van één enkel apparaat.

Voordat je een aankoop doet, moet je de serverhandleiding en de compatibiliteitslijsten vergelijken met de concrete configuratie. Belangrijk zijn de ondersteunde generatie en breedte per slot, beperkingen bij volledige bezetting, backplane- en riser-varianten en beschikbare firmwareversies. Pas deze controle maakt het verschil tussen een theoretisch snelle Enterprise SSD en een configuratie die haar Gen5-verbinding daadwerkelijk kan leveren in een productieve server.

De fabrieksgegevens correct lezen en vergelijken

De waarden in het gegevensblad beschrijven duidelijk afgebakende meetsituaties, niet automatisch de prestaties van een serverworkload. Voor de Micron 9550 vermeldt de fabrikant tot 14.000 MB/s sequentieel lezen, 10.000 MB/s schrijven en tot 3,3 miljoen 4-KiB-lees-IOPS. Deze grootheden geven antwoord op verschillende vragen: MB/s geeft een indicatie van grote, doorlopende overdrachten; IOPS beschrijft het aantal kleine in- en uitvoerbewerkingen per tijdseenheid.

De meetparameters zijn doorslaggevend. De genoemde sequentiële waarden zijn gebaseerd op 128-KiB-overdrachten bij een wachtrijdiepte van 32, de willekeurige 4-KiB-waarden op een wachtrijdiepte van 512 en een gedefinieerde steady state. Een database met weinig gelijktijdige verzoeken kan daarom, ondanks een snelle SSD, aanzienlijk lagere IOPS-waarden behalen. Ook de lees-/schrijfverhouding, de capaciteitsvariant en de vullingsgraad beïnvloeden het beeld.

PCI-SIG beschrijft de bandbreedtegegevens als de effectieve ruwe bandbreedte van de verbinding. Voor de bruikbare SSD-doorvoersnelheid moet rekening worden gehouden met extra protocolopbrengsten en implementatiebeperkingen. Een vergelijking van de linkgeneraties laat daarom de beschikbare transportcapaciteit zien, maar vervangt noch het gegevensblad van de specifieke schijf, noch een meting met de beoogde workload.

Voor betrouwbare productvergelijkingen moeten fabrikanten de overdrachtsgrootte, de wachtrijdiepte, het toegangs patroon, de testmethode en de bedrijfsstatus vermelden. De SNIA Enterprise PTS Hiervoor worden methoden gedefinieerd die de prestatiemetingen van enterprise-SSD's beter traceerbaar maken. Dit is geen vervanging voor een eigen belastinganalyse, maar helpt wel voorkomen dat piekwaarden uit verschillende testprofielen ten onrechte als direct vergelijkbaar worden beschouwd.

Welke workloads profiteren echt van Gen5?

Bij AI-datapijplijnen en HPC kan Gen5 zinvol zijn wanneer grote lokale datasets het rekenproces vertragen. GPUDirect Storage maakt directe DMA-overdrachten mogelijk tussen opslag en GPU-geheugen zonder bouncebuffer in het CPU-werkgeheugen. NVIDIA beschrijft volledig naar de GPU verplaatste rekenpijplijnen als een geschikte toepassing: de GPU neemt de eerste en laatste toegang tot de gegevens die tussen opslag en GPU worden verplaatst voor zijn rekening. Dit beschrijft een gebruiksprofiel, geen universele, strikte functionele vereiste. Of GDS helpt, hangt af van het daadwerkelijke gegevenspad, de gebruikte API’s en de opslagbottleneck.

Bij OLTP zijn meestal Tail-latenties en het schrijfgedrag onder belasting sterker dan sequentiële pieksnelheden. Door een hoge cache-hit-ratio komen veel leesverzoeken helemaal niet bij de SSD terecht; CPU-beperkte verzoeken blijven ook na het vervangen van de schijf CPU-beperkt. Daarom moeten de P95- en P99-latentie, de commit-latentie, de I/O-wachttijd en de wachtrijdiepte worden gemeten, in plaats van alleen de doorvoer.

Virtualisatie kan profiteren van een snellere SSD wanneer veel VM’s tegelijkertijd willekeurige I/O genereren en opslaglatenties de consolidatie beperken. Deze aanname staat bekend als Planningsheuristiek te beschouwen, niet als een algemeen Gen5-resultaat. De CPU-ready-tijd, RAM-belasting, gedeelde PCIe-uplinks en een gedistribueerd opslagsysteem kunnen dezelfde workload sterker beperken dan de afzonderlijke schijf.

Ook bij analytics, ETL, back-up en archivering wordt de aankoopbeslissing bepaald door de gemeten bottleneck. Grote parallelle lokale overdrachten kunnen gebruikmaken van een hogere linkbandbreedte, terwijl het netwerk, de compressie of het doelsysteem het effect bij back-uptaken kunnen beperken. Vergelijk daarom de volledige uitvoeringstijd van de taak en de end-to-end-doorvoer, in plaats van rechtstreeks conclusies te trekken over de applicatieprestaties op basis van de sequentiële SSD-piekwaarde.

Pipelines waarbij veel wordt geschreven, hebben bovendien de juiste duurzaamheidsklasse nodig. Solidigm positioneert de D7-PS1010 als standaard-endurance-variant en de D7-PS1030 als mid-endurance-variant. Hieruit volgt geen algemene productkeuze, maar wel een regel voor de planning: prestaties, capaciteit en toegestane schrijfbelasting zijn afzonderlijke criteria en moeten aansluiten bij het daadwerkelijke schrijfprofiel.

Testplan voor serveropslag vóór aanschaf

Begin de inkoop niet met een synthetische topbenchmark, maar met uitgangsgegevens uit de praktijk. Definieer hiervoor een aantal representatieve belastinggevallen: bijvoorbeeld databasetransacties, pieken bij het opstarten van VM’s of een ETL-run. Maak een onderscheid tussen een koude start en Stabiele staat; gevulde caches en langdurige schrijfbelasting kunnen tot fundamenteel andere resultaten leiden. Hetzelfde methodologische principe wordt in het artikel toegelicht De prestaties na WordPress-updates correct meten aan de hand van het voorbeeld van cacheafhankelijke hostingbelastingen.

Geef de waarden per belastingsscenario (P95/P99-latentie, commit-latentie, I/O-wachttijd, wachtrijbezetting en cache-hit-ratio) gezamenlijk weer. Een lange wachtrij bij een lage SSD-bezettingsgraad kan wijzen op een bovenliggend knelpunt; een hoge cache-hit verklaart daarentegen waarom een snellere SSD nauwelijks merkbaar is. Houd bovendien rekening met CPU-, RAM- en netwerkstatistieken, zodat opslag niet te snel als oorzaak wordt aangemerkt.

Controleer vóór elke prestatiebeoordeling welke apparaten het systeem herkent. Op een Linux-server waarop nvme-cli is geïnstalleerd, dient nvme list de inventarisatie: Volgens de projectdocumentatie doorzoekt het commando de sysfs-boom op zoek naar NVMe-apparaten en geeft het de apparaatknooppunten en bijbehorende informatie weer. Beschrijf daarom eerst de gedetecteerde apparaten voordat je prestatiewaarden vergelijkt.

nvme list

Een uitgangspunt voor de PCIe-diagnose zijn de volgende voorbeelden uit de oudere Red Hat-handleiding voor OpenStack Platform 10: LnkCap wordt daar gebruikt voor de maximale verbindingssnelheid en LnkSta geëvalueerd voor de huidige linkstatus. Dit is geen actuele Gen5-platformvrijgave. Vervang het voorbeeldadres door het PCI-adres van je apparaat en vergelijk de syntaxis, de volledige uitvoer en de betekenis met de lokaal geïnstalleerde pciutils-documentatie en de serverhandleiding.

lspci -s 81:00.0 -vv | grep LnkCap
lspci -s 81:00.0 -vv | grep LnkSta

Wat gezondheidsgegevens betreft, wordt in de aangehaalde nvme-cli-Master-documentatie vermeld smart-log als verouderde alias van log smart; de alias is bedoeld voor oudere scripts, terwijl nieuwe scripts de nieuwe vorm moeten gebruiken. Master geeft echter de ontwikkelingsstatus weer en niet automatisch de omvang van de opdrachten van een stabiele distributieversie. Controleer daarom eerst de versie van het geïnstalleerde pakket en de bijbehorende helptekst of man-pagina. Gebruik hieronder uitsluitend de daar gedocumenteerde opdrachtvorm en vervang het voorbeeldapparaatpad zodat het overeenkomt met jouw systeem. Hieruit wordt geen algemene versiegrens afgeleid.

# Nur die lokal dokumentierte Befehlsform verwenden:
nvme log smart /dev/nvme0

# Alternative, wenn lokal dokumentiert:
nvme smart-log /dev/nvme0

Een algemene destructieve benchmark is ongeschikt voor productieve systemen: deze kan gegevens overschrijven, caches beïnvloeden of met een atypische wachtrijdiepte een niet-representatief resultaat opleveren. Vergelijk in plaats daarvan dezelfde gebruiksscenario’s vóór en na een geplande hardwarevervanging. Documenteer de firmwareversie, capaciteit, bezettingsgraad, temperatuur en topologie, zodat afwijkingen later traceerbaar blijven.

Koeling, uithoudingsvermogen en continu vermogen plannen

De piekwaarden uit de gegevensbladen hebben betrekking op vastgestelde testprofielen, niet noodzakelijkerwijs op het continu gebruik van een bezette server. Bij een toenemende bezettingsgraad, bij gemengde schrijfbewerkingen en tijdens de Afvalinzameling moet een SSD gegevens herschikken. NAND-beheer en het specifieke schrijfpatroon kunnen daarom de doorvoersnelheid en met name de latentie beïnvloeden in vergelijking met korte, lege testruns. Cijfers zijn pas vergelijkbaar als rekening wordt gehouden met het gebruiksprofiel en de steady state.

Ook de temperatuur maakt deel uit van de prestatieplanning. De D7-PS1010-serie omvat U.2, E1.S en E3.S; bij de E1.S maakt Solidigm onderscheid tussen luchtgekoelde uitvoeringen en een variant voor directe vloeistofkoeling met een eenzijdige cold plate. E1.S alleen betekent daarom niet automatisch vloeistofkoeling. Controleer de concreet bestelde uitvoering en bouwhoogte, evenals de compatibiliteit met de server, de sleuf en, indien van toepassing, de cold plate. Voor luchtgekoelde modellen maken het goedgekeurde stroomverbruik, de luchtstroom, de afstanden tussen de sleuven en de inlaattemperatuur deel uit van de platformcontrole.

De Endurance-klasse moet los van de generatie van de interface worden gekozen. Voor continue log-opname of schrijfcaches kan een uitvoering met gemiddelde duurzaamheid geschikter zijn dan een model dat is ontworpen voor standaardduurzaamheid, zelfs als beide even snel lezen. De capaciteit beïnvloedt daarbij niet alleen de kosten en de bruikbare ruimte, maar kan, afhankelijk van het model, ook de duurzaamheid en het prestatieprofiel beïnvloeden.

Typische Gen5-fouten systematisch opsporen

Begin het opsporen van de storing niet met het vervangen van de SSD, maar met de opgegeven link. Een lagere snelheid is in eerste instantie een diagnosebevinding en nog geen eenduidige oorzaak. Vergelijk de gegevens die in het meetplan worden toegelicht LnkSta en LnkCap met inachtneming van de lokale tool-documentatie; de aangehaalde oudere OpenStack-handleiding beschrijft deze basiscontrole, maar vervangt niet de actuele serverdocumentatie. Controleer vervolgens de slotindeling, de riser, de backplane, het switchpad en de firmwareversie aan de hand van de platformspecificaties.

Als de link klopt, volgt hier Wachtrijgedrag van de toepassing. Lage IOPS bij een geringe wachtrijdiepte duiden niet op een storing van de SSD; ook kan een volle gedeelde uplink meerdere schijven beperken. Controleer daarom de I/O-wachttijd, wachtrijbelasting, lees/schrijfverhouding en latentiepercentielen tegelijkertijd met CPU-, geheugen- en netwerkstatistieken. Alleen de correlatie laat zien of opslag zich op het kritieke pad bevindt.

Bij gegevenspaden die dicht bij de GPU liggen, volstaat een theoretisch direct PCIe-pad niet. GPUDirect Storage vereist een geschikte hardware- en softwareconfiguratie; ACS en IOMMU kunnen, afhankelijk van de topologie, gegevens via CPU-root-poorten leiden. Wijzigingen aan deze functies hebben gevolgen voor isolatie, beveiliging en virtualisatie. Ze mogen daarom alleen worden doorgevoerd na een architectuurcontrole en een gedocumenteerde risicoafweging, en niet als algemene prestatieschakelaar.

Als de prestaties onder belasting instabiel blijven, controleer dan vervolgens de temperatuur, de statusgegevens en de applicatiebelasting. Kies de SMART-opdracht op basis van de geïnstalleerde pakketversie en de bijbehorende man-pagina. In de aangehaalde Master-documentatie wordt het volgende aanbevolen: nvme log smart en leidt nvme smart-log als verouderde alias; deze geeft niet de omvang van elke stabiele distributie weer. Vergelijk de koude start en de steady state afzonderlijk en leg de meetomstandigheden vast, in plaats van op basis van één enkele uitschieter te concluderen dat er sprake is van een defect.

Wanneer Gen5 kopen en wanneer Gen4 behouden

Een PCIe 5.0-SSD is gerechtvaardigd als meetgegevens aantonen dat er sprake is van een bottleneck in de opslag of de hostverbinding en het gehele platform daadwerkelijk Gen5 ondersteunt. Relevante bevindingen zijn onder meer terugkerende hoge wachtrijbelasting, onvoldoende doorvoersnelheid of problematische latentie bij representatieve belasting. PCIe 5.0 verdubbelt de ondersteunde bitsnelheid per lane ten opzichte van PCIe 4.0; dit leidt echter niet automatisch tot een versnelling van de toepassing.

Het is zinvol om Gen4 te blijven gebruiken als de bestaande schijven niet volledig worden benut, het serverplatform alleen Gen4 ondersteunt of als de CPU, het werkgeheugen en het netwerk de dienst beperken. Ook bij een lage mate van parallelliteit of een hoge cache-hit-rate kan de achterstand in de toepassing klein blijven. Het bespaarde budget kan dan eventueel effectiever worden ingezet voor capaciteit, redundantie, werkgeheugen of het wegnemen van de vastgestelde bottleneck.

Minder Gen5-schijven zijn niet per definitie beter dan meerdere Gen4-apparaten. Voor hoge totale doorvoersnelheden is het aantal parallelle paden van belang, de Lane-budget en de uplinks van switches of root-poorten. Voor lokale opslagpaden dicht bij de GPU geeft NVIDIA aan dat er mogelijk meerdere x4-NVMe-apparaten en parallelle overdrachten nodig zijn om een x16-PCIe-verbinding volledig te benutten. Dit is een opmerking over de GDS-topologie en geen algemene regel voor het aantal apparaten per server.

NVMe over Fabrics of gedisaggregate opslag is daarentegen een optie wanneer de capaciteit flexibel tussen hosts moet worden verdeeld. Daarbij bepalen bovendien NIC’s, netwerkswitches, protocolpaden en het bedrijfsmodel de haalbare prestaties. Lokale NVMe-SSD's geven voorrang aan datapaden dicht bij de host; centrale systemen kunnen gedeeld gebruik en onafhankelijke schaalbaarheid mogelijk maken. Beide benaderingen moeten worden afgewogen tegen eisen op het gebied van latentie, beschikbaarheid en exploitatie.

Vóór de aanschaf moeten de werklast en het meetvenster vaststaan, moeten de linksnelheid en de topologie worden gecontroleerd en moeten de capaciteit, de levensduur, de koeling, de firmware-ondersteuning en de beveiligingsfuncties bindend op elkaar worden afgestemd. Daarnaast moeten ook de stroomvoorziening, de rackomgeving en de schaalbaarheidsopties worden meegenomen in de infrastructuurbeslissing. In dit artikel worden concrete criteria hiervoor toegelicht Criteria voor het kiezen van het juiste datacenter. De aankoopbeslissing wordt dus gebaseerd op de vastgestelde knelpuntcapaciteit in plaats van op een enkele piekwaarde.