PCIe 5.0-SSD-enheter i datacentret: Marknadsföring eller verklig prestandaförbättring?

PCIe 5.0, NVMe och SSD – skillnaderna

För att kunna göra en tillförlitlig bedömning måste man skilja mellan tre nivåer: PCIe är transportbussen mellan värden och enheten, NVMe är det underliggande protokollet för icke-flyktigt minne, och SSD:n är den konkreta enheten med styrenhet, NAND-flash och firmware. En snabb PCIe-anslutning beskriver därför i första hand endast den möjliga anslutningen; den definierar varken SSD:ns interna bearbetning eller en applikations prestanda.

PCIe 5.0 arbetar med 32,0 GT/s per lane, medan PCIe 4.0 når 16,0 GT/s per lane. Därmed fördubblas signalhastigheten per lane och därmed även den teoretiskt tillgängliga länkbandbredden jämfört med Gen4. Detta gäller dock endast överföringsvägen: det är ingen garanti för att databasfrågor, virtuella maskiner eller AI-uppgifter också kommer att fungera dubbelt så snabbt.

I ett typiskt fall x4-anslutning Storleksordningen kan härledas från PCI-SIG:s uppgifter. En PCIe 5.0 x32-länk tillhandahåller enligt PCI-SIG 128 GB/s effektiv råbandbredd per riktning. Fyra banor utgör en åttondel av 32 banor, vilket innebär att PCIe 5.0 x4 teoretiskt sett ger cirka 16 GB/s per riktning. Detta är ett värde för länken och inte en uppnåelig SSD-genomströmning; ytterligare protokollandelar samt styrenhet, NAND och firmware minskar eller begränsar den användbara prestandan.

Dessutom begränsas prestandan av SSD-kontrollern, antalet och organisationen av NAND-chipen, firmwarealgoritmerna samt det faktiska läs- och skrivmönstret. Låga ködjup eller små, blandade åtkomstförfrågningar kan bromsa en applikation, även om PCIe-länken teoretiskt sett fortfarande har reserver. Omvänt kan en parallell sekventiell dataström utnyttja en snabbare värdanslutning på ett meningsfullt sätt, utan att detta blir en allmän prestandaregel.

För upphandling av Serverlagring Därför är den avgörande frågan inte enbart „Gen4 eller Gen5?“. Man måste snarare undersöka om den befintliga PCIe-vägen, själva SSD-enheten och den faktiska I/O-belastningen utgör samma flaskhals. Först när dessa nivåer stämmer överens kan den extra överföringshastigheten hos PCIe 5.0 bli praktiskt relevant för applikationen.

Varför SSD-enheter för företag bedöms på ett annat sätt

En SSD för företag väljs inte enbart utifrån sekventiell MB/s. I datacentret är det, förutom prestanda, framför allt planerbar kontinuerlig drift, driftsövervakning och integrering i serverplattformar som räknas. Konsumentmodeller kan vara tekniskt lämpliga för enskilda uppgifter, men uppfyller inte automatiskt kraven på tillgänglighet, underhåll, skyddsmekanismer och kvalificerade firmware-vägar i en produktiv miljö.

Det finns tydliga skillnader när det gäller utformningen: Enterprise-hårddiskar finns till exempel i formfaktorerna U.2, E1.S eller E3.S och kan därmed anpassas för hot-swap-fack, kompakta serverkonfigurationer och specificerad kylning. Solidigm D7 PS1010-serien finns till exempel i formfaktorerna U.2, E1.S och E3.S. Formfaktorn avgör därför bland annat valet av bakplan, luftflöde, kapacitetsdensitet och möjligheten till senare utbyte.

Die Endurance-klassen måste passa skrivprofilen. Höga överföringshastigheter ersätter inte lämplig skrivhållbarhet: loggning, streaming och databasskrivningar medför andra belastningar än analysarbetsbelastningar som huvudsakligen består av läsning. Solidigm positionerar D7-PS1010 som en variant med standardhållbarhet och D7-PS1030 som en variant med medelhög hållbarhet. Kapacitet, prestanda och tillåten skrivbelastning är därför urvalskriterier som måste bedömas separat.

Viktiga är också Skydd mot strömavbrott och telemetri. Skydd vid strömavbrott kan bidra till att redan påbörjade skrivoperationer hanteras på ett kontrollerat sätt; telemetridata underlättar övervakningen av tillstånd, temperatur och slitage. Beroende på miljön bör även krypteringsfunktioner, säkra raderingsmetoder och spårbar firmware-support ingå i upphandlingskraven. Deras konkreta tillgänglighet måste dock alltid kontrolleras för varje enskild modell och konfiguration.

En annan funktion som är typisk för företagsanvändning kan vara dual-port-drift. Samsungs PM1743 marknadsförs som en PCIe 5.0-SSD för företagsanvändning med denna funktion, vilket kan vara relevant för vissa arkitekturer som kräver hög tillgänglighet. Detta innebär inte att varje Gen5-SSD stöder dual-port-drift eller att denna egenskap skulle vara nödvändig för varje server. Exemplet visar snarare varför datablad och plattformskrav måste läsas tillsammans.

Inte heller produktnamn kan ersätta tekniska tester. Micron 9550-serien dokumenterar bland annat höga prestandavärden och specificerade testprofiler; detta innebär dock inte att den generellt sett är lämplig för alla rack. Ett välgrundat val kombinerar den specifika hårddiskens egenskaper med uthållighetsmål, servicekoncept, formfaktor, säkerhetskrav och den faktiska serverarkitekturen.

Plattformen bestämmer den möjliga länkhastigheten

En PCIe 5.0-SSD kan endast uppnå sin maximala länkhastighet om hela vägen stöder Gen5. Detta omfattar CPU-plattformen och rotporten, moderkortet, riserkortet eller kabeln, bakplanet, eventuellt en PCIe-switch, enhetsfacket samt firmware för de berörda komponenterna. En enskild Gen5-kompatibel komponent räcker inte, eftersom anslutningen mellan de berörda komponenterna drivs med en hastighet och bredd som alla stöder gemensamt.

PCIe 5.0 är bakåtkompatibelt med tidigare PCIe-generationer. Om en Gen5-enhet ansluts till en väg som endast stöder Gen4 kan den i princip fungera, men endast med den länkhastighet som stöds av den konfigurationen. SSD-enheten får då ingen Gen5-anslutning; den kan dock fortfarande användas vid ett senare plattformsbyte, förutsatt att formfaktor, firmware och servergodkännanden också stämmer överens.

Särskild uppmärksamhet krävs för PCIe-topologi. Flera enheter kan vara anslutna till processorn via en switch eller en gemensam upplänksanslutning. I så fall är SSD-enhetens enskilda länk inte nödvändigtvis den begränsande faktorn: vid parallell belastning kan den gemensamma upplänksanslutningen nå sin maximala kapacitet först. Detsamma gäller om ytterligare acceleratorer, nätverkskort eller andra expansionskort försörjs från samma lane-budget.

Det tillgängliga Lane-budget är därför en planeringsfaktor, inte bara en uppgift i databladet. Fyra x4-SSD-enheter kräver totalt 16 banor på sina enhetslänkar, men deras sammanlagda bandbredd beror på hur dessa länkar är anslutna till rotportar och switch-uplinks. För höga totala genomströmningar kan en arkitektur med flera parallella enheter vara mer lämplig än att byta ut en enskild enhet.

Innan du köper något bör du jämföra serverhandboken och kompatibilitetslistorna med den faktiska konfigurationen. Följande faktorer är relevanta: vilken generation som stöds och bredd per kortplats, begränsningar vid fullt utnyttjande, olika varianter av bakplan och riserkort samt tillgängliga firmwareversioner. Det är först efter denna kontroll som man kan skilja en teoretiskt snabb Enterprise SSD från en konfiguration som faktiskt kan utnyttja sin Gen5-anslutning i en produktiv server.

Läs och jämför tillverkarens uppgifter på rätt sätt

Värdena i databladet beskriver tydligt avgränsade mätsituationer, inte nödvändigtvis prestandan vid en serverarbetsbelastning. För Micron 9550 anger tillverkaren upp till 14 000 MB/s sekventiell läsning, 10 000 MB/s skrivning samt upp till 3,3 miljoner 4-KiB-läs-IOPS. Dessa storheter besvarar olika frågor: MB/s mäter stora, kontinuerliga överföringar; IOPS beskriver antalet små in- och utläsningar per tidsenhet.

Mätparametrarna är avgörande. De angivna sekventiella värdena baseras på 128-KiB-överföringar vid ködjup 32, medan de slumpmässiga 4-KiB-värdena baseras på ködjup 512 och ett definierat steady state. En databas med få samtidiga förfrågningar kan därför uppnå betydligt lägre IOPS trots en snabb SSD. Även läs-/skrivfördelningen, kapacitetsvarianten och fyllnadsgraden påverkar resultatet.

PCI-SIG betecknar bandbreddsuppgifterna som länkens effektiva råbandbredd. För den användbara SSD-genomströmningen måste ytterligare protokollandelar och implementeringsbegränsningar beaktas. En jämförelse mellan olika generationer av länkar visar därför den tillgängliga transportkapaciteten, men ersätter varken databladet för den specifika enheten eller en mätning med den avsedda arbetsbelastningen.

För tillförlitliga produktjämförelser bör tillverkarna ange överföringsstorlek, ködjup, åtkomstmönster, testmetod och driftsförhållanden. De SNIA Enterprise PTS definierar därför metoder som gör prestandamätningarna av Enterprise-SSD:er mer överskådliga. Den ersätter inte en egen belastningsanalys, men hjälper till att undvika att felaktigt betrakta toppvärden från olika testprofiler som direkt jämförbara.

Vilka arbetsbelastningar som verkligen drar nytta av Gen5

När det gäller AI-datapipelines och HPC kan Gen5 vara ett bra val om stora lokala datamängder bromsar beräkningsprocessen. GPUDirect Storage möjliggör direkta DMA-överföringar mellan lagringsenheten och GPU-minnet utan mellanlagring i CPU:ns arbetsminne. NVIDIA beskriver beräkningspipelines som helt flyttats till GPU:n som ett lämpligt användningsfall: GPU:n hanterar den första och sista åtkomsten till de data som flyttas mellan lagringsenheten och GPU:n. Detta beskriver en användningsprofil, inte ett universellt och strikt funktionskrav. Huruvida GDS hjälper beror på den faktiska datavägen, de använda API:erna och lagringsflaskhalsen.

När det gäller OLTP räknas oftast Tail-latenser och skrivbeteendet under belastning påverkas mer än de sekventiella topphastigheterna. En hög cache-träfffrekvens gör att många läsoperationer inte ens når SSD:n; CPU-begränsade åtkomstförfrågningar förblir även vid ett byte av enhet CPU-begränsade. Man bör därför mäta P95- och P99-latens, commit-latens, I/O-väntetid och ködjup istället för enbart genomströmningen.

Virtualisering kan dra nytta av en snabbare SSD när många virtuella maskiner samtidigt genererar slumpmässig I/O och lagringsfördröjningar begränsar konsolideringen. Detta antagande kallas Planeringsheuristik ska inte betraktas som ett generellt Gen5-resultat. CPU-beredskapstid, RAM-belastning, delade PCIe-uplinks och ett distribuerat lagringssystem kan begränsa samma arbetsbelastning i högre grad än den enskilda enheten.

Även när det gäller analysverktyg, ETL, säkerhetskopiering och arkivering baseras köpbeslutet på den uppmätta flaskhalsen. Stora parallella lokala överföringar kan utnyttja en högre länkbandbredd, medan nätverket, komprimeringen eller målsystemet kan begränsa effekten vid säkerhetskopieringsuppgifter. Jämför därför den totala körtiden för jobbet och genomströmningen från början till slut, istället för att direkt dra slutsatser om applikationsprestandan utifrån den sekventiella SSD-toppvärdet.

Skrivintensiva pipeliner kräver dessutom rätt uthållighetsklass. Solidigm positionerar D7-PS1010 som en variant med standarduthållighet och D7-PS1030 som en variant med medelhög uthållighet. Detta innebär inte något generellt produktval, men en regel för planeringen: prestanda, kapacitet och tillåten skrivbelastning är separata kriterier och måste stämma överens med den faktiska skrivprofilen.

Testplan för serverlagring inför inköp

Börja inte kapacitetsplaneringen med en syntetisk toppbelastningsbenchmark, utan med utgångsdata från den faktiska driften. Definiera därför några få representativa belastningsscenarier: till exempel databastransaktioner, toppar vid start av virtuella maskiner eller en ETL-körning. Skilj mellan kallstart och Stabilt tillstånd; fyllda cacher och en längrevarande skrivbelastning kan leda till väsentligt annorlunda resultat. Samma metodiska princip förklaras i artikeln Att mäta prestanda korrekt efter WordPress-uppdateringar med utgångspunkt i cacheberoende hostingbelastningar.

Sammanställ värdena för belastningsfall P95/P99 – latens, commit-latens, I/O-väntetid, köbelastning och cache-träfffrekvens. En lång kö vid låg SSD-utnyttjande kan tyda på en övergripande flaskhals; en hög cache-träfffrekvens förklarar däremot varför en snabbare SSD knappt märks. Ta även med CPU-, RAM- och nätverksmått så att lagringen inte förhastat betraktas som orsaken.

Kontrollera före varje prestandatest vilka enheter systemet känner igen. På en Linux-server där nvme-cli är installerat används nvme list Översikten: Enligt projektdokumentationen söker kommandot igenom sysfs-trädet efter NVMe-enheter och visar deras enhetsnoder samt tillhörande information. Beskriv därför först de identifierade enheterna innan du jämför prestandavärden.

nvme list

En utgångspunkt för PCIe-diagnosen är följande exempel från den äldre Red Hat-handboken för OpenStack Platform 10: LnkCap används där för maximal länkhastighet och LnkSta utvärderas för den aktuella länksstatusen. Detta är inte en aktuell Gen5-plattformsgodkännande. Ersätt exempeladressen med din enhets PCI-adress och jämför syntax, fullständig utdata och betydelse med den lokalt installerade pciutils-dokumentationen och serverhandboken.

lspci -s 81:00.0 -vv | grep LnkCap
lspci -s 81:00.0 -vv | grep LnkSta

När det gäller hälsodata anges i den citerade nvme-cli-Master-dokumentationen smart-log som ett föråldrat alias för log smart; aliaset används i äldre skript, medan nya skript bör använda den nya formen. Master beskriver dock utvecklingsstadiet och inte automatiskt kommandouppsättningen i en stabil distributionsversion. Kontrollera därför först vilken paketversion du har installerad och dess hjälptext respektive man-sida. Använd nedan endast den kommandoform som dokumenteras där och ersätt exempelvägen till enheten så att den passar ditt system. Ingen generell versionsgräns härleds av detta.

# Nur die lokal dokumentierte Befehlsform verwenden:
nvme log smart /dev/nvme0

# Alternative, wenn lokal dokumentiert:
nvme smart-log /dev/nvme0

En allmän destruktiv benchmark är olämplig för produktiva system: den kan skriva över data, påverka cacher eller ge ett icke-representativt resultat på grund av en atypisk ködjup. Jämför istället samma användningsscenarier före och efter ett planerat hårdvarubyte. Dokumentera firmwareversion, kapacitet, beläggning, temperatur och topologi så att avvikelser kan spåras i efterhand.

Planera kylning, uthållighet och kontinuerlig effekt

De högsta värdena i databladen avser definierade testprofiler, inte nödvändigtvis kontinuerlig drift på en belastad server. Vid ökande belastning, vid blandade skrivoperationer och under Sopuppsamling måste en SSD omorganisera data. NAND-hanteringen och det specifika skrivmönstret kan därför påverka genomströmningen och framför allt latensen jämfört med korta, tomma testkörningar. Uppgifterna blir jämförbara först när driftsprofilen och steady state beaktas.

Även temperaturen ingår i prestandaplaneringen. D7-PS1010-serien omfattar U.2, E1.S och E3.S; Solidigm skiljer inom E1.S mellan luftkylda modeller och en variant för direkt vätskekylning med ensidig kylplatta. E1.S i sig innebär därför inte nödvändigtvis vätskekylning. Kontrollera den specifika beställda modellen och höjden samt dess kompatibilitet med server, kortplats och, i förekommande fall, kylplatta. För luftkylda modeller ingår godkänd effektförbrukning, luftflöde, avstånd mellan kortplatser och inloppstemperatur i plattformskontrollen.

Die Endurance-klassen ska väljas separat från gränssnittsgenerationen. För kontinuerlig logginsamling eller skrivcacher kan en modell med medelhög uthållighet vara lämpligare än en modell utformad för standarduthållighet, även om båda har liknande läshastighet. Kapaciteten påverkar inte bara kostnaden och det tillgängliga utrymmet, utan kan beroende på modell även förändra uthålligheten och prestandaprofilen.

Systematiskt avgränsa typiska Gen5-fel

Börja inte felsökningen med att byta ut SSD-enheten, utan med den angivna länken. En lägre hastighet är i första hand ett diagnostiskt fynd och ännu inte en entydig orsak. Jämför uppgifterna som förklaras i mätplanen LnkSta och LnkCap med hänsyn till den lokala verktygsdokumentationen; den äldre OpenStack-guiden som nämns visar denna grundläggande kontroll, men ersätter inte aktuell serverdokumentation. Kontrollera därefter slotplacering, riser, bakplan, switchväg och firmwareversion mot plattformens specifikationer.

Om länken är korrekt följer detta Köbeteende i applikationen. Låga IOPS-värden vid låg ködjup är inte ett tecken på att SSD-enheten är defekt; på samma sätt kan en fullständig gemensam upplänk begränsa flera enheter. Kontrollera därför I/O-väntetid, köbelastning, läs-/skrivfördelning och latenspercentiler samtidigt som du granskar CPU-, minnes- och nätverksmätvärden. Endast genom att korrelera dessa uppgifter kan man avgöra om lagringen ligger på den kritiska vägen.

När det gäller datavägar nära GPU:n räcker det inte med en teoretiskt direkt PCIe-väg. GPUDirect Storage kräver en lämplig hård- och mjukvarukonfiguration; beroende på topologin kan ACS och IOMMU styra data via CPU:ns root-portar. Ändringar av dessa funktioner påverkar isolering, säkerhet och virtualisering. De får därför endast genomföras efter en arkitekturgranskning och en dokumenterad riskbedömning, inte som en generell prestandaknapp.

Om prestandan förblir instabil under belastning, kontrollera därefter temperaturen, hälsodata och applikationsbelastningen. Välj SMART-kommandot utifrån den installerade paketversionen och dess man-sida. Den citerade Master-dokumentationen rekommenderar nvme log smart och leder nvme smart-log som ett föråldrat alias; det täcker inte hela omfattningen av varje stabil distribution. Jämför kallstart och steady state separat och dokumentera mätförhållandena, istället för att dra slutsatsen att det föreligger ett fel utifrån ett enskilt avvikande värde.

När ska man köpa Gen5 och när ska man behålla Gen4?

En PCIe 5.0-SSD är motiverad om mätdata visar på en flaskhals i lagrings- eller värdlänken och hela plattformen faktiskt stöder Gen5. Relevanta tecken är återkommande hög köbelastning, otillräcklig genomströmning eller problematisk latens under representativ belastning. PCIe 5.0 fördubblar den stödda bithastigheten per lane jämfört med PCIe 4.0; detta medför dock inte automatiskt en snabbare applikation.

Det är lämpligt att fortsätta använda Gen4 om befintliga enheter inte utnyttjas fullt ut, om serverplattformen endast stöder Gen4 eller om CPU, arbetsminne och nätverk begränsar tjänsten. Även vid låg parallellitet eller hög cache-hit-frekvens kan skillnaden i applikationen förbli liten. Den besparade budgeten kan då vid behov användas mer effektivt för kapacitet, redundans, arbetsminne eller för att eliminera den konstaterade flaskhalsen.

Färre Gen5-enheter är inte nödvändigtvis bättre än flera Gen4-enheter. För höga totala överföringshastigheter är det antalet parallella vägar som räknas, det Lane-budget och upplänkarna från switchar eller rotportar. När det gäller lokala lagringsvägar nära GPU:n beskriver NVIDIA att flera x4-NVMe-enheter och parallella överföringar kan krävas för att utnyttja en x16-PCIe-länk. Detta är ett uttalande om GDS-topologin och ingen allmän regel för antalet enheter i en server.

NVMe over Fabrics eller disaggregerad lagring är däremot ett alternativ när kapaciteten ska fördelas flexibelt mellan värddatorer. Där avgör dessutom nätverkskort, nätverksswitchar, protokollvägar och driftsmodellen vilken prestanda som kan uppnås. Lokala NVMe-SSD-enheter prioriserar datavägar nära värddatorn; centraliserade system kan möjliggöra delad användning och oberoende skalning. Båda tillvägagångssätten måste vägas mot kraven på latens, tillgänglighet och drift.

Innan inköpet bör arbetsbelastningen och mätfönstret vara fastställda, länkhastigheten och topologin kontrollerade samt kapacitet, uthållighet, kylning, firmware-stöd och skyddsfunktioner ha jämförts på ett bindande sätt. Dessutom bör strömförsörjning, rackmiljö och skalningsalternativ ingå i beslutet om infrastrukturen. Konkreta kriterier för detta förklaras i artikeln Kriterier för valet av rätt datacenter. Köpbeslutet baseras därmed på den konstaterade flaskhalsen istället för på ett enskilt toppvärde.