100-Gbit-nätverk i datacentret: Teknik, optik och planering

Att sätta 100GbE i sitt rätta sammanhang

100GbE avser i första hand en Ethernet-porthastighet på nominellt 100 Gbit/s på MAC-nivå. Detta innebär varken en viss kontakttyp eller en fastställd fibertyp, lane-fördelning eller överföringsavstånd. I Ethernet-roadmappen placeras 100GbE vid sidan av 25, 50, 200, 400 och högre datahastigheter; vilken nivå som är lämplig beror på trafikprofilen, porttätheten och utbyggnadsmålet.

Den nominella portkapaciteten ska inte likställas med en applikations genomströmning. Överhuvud för Ethernet-, IP- och transportprotokoll minskar den tillgängliga nyttolasten; dessutom kan CPU, nätverkskortdrivrutiner, PCIe-anslutning, minnes- eller lagringsprestanda samt motparten utgöra begränsande faktorer. Även konkurrerande dataströmmar delar på portens kapacitet. 100 Gbit/s är därför en egenskap hos gränssnittet och inte någon garanti för dataöverföring i en enskild applikation.

En server med ett 100GbE-nätverkskort kan till exempel, vid kopiering av stora datamängder, ligga betydligt under portens hastighet om källan eller målet inte läser eller skriver tillräckligt snabbt. Omvänt ökar en 100G-uplink den sammanlagda kapaciteten för en serverpod utan att automatiskt öka hastigheten för varje enskild värd till 100 Gbit/s. Vid planeringen måste därför slutsystem, datavägar och belastningstoppar beaktas tillsammans.

100GbE är inte generellt sett för litet eller för stort. 25GbE kan räcka för allmänna serveranslutningar, medan 50GbE utgör ett mellansteg för högre värdtäthet. Beroende på utformningen lämpar sig 100GbE för servrar, lagring, leaf-uplinks eller mindre spine-nivåer. Vid starkt aggregerade arbetsbelastningar kan 200 eller 400GbE tillhandahålla den nödvändiga porttätheten. Publicerade IEEE-rapporter täcker flera Ethernet-hastigheter och PHY-varianter; hastigheten i sig beskriver dock inte en fullständig nätverksarkitektur.

Kanaler, PHY-enheter och felkorrigering

För att kunna fatta välgrundade beslut måste tre nivåer granskas separat: de elektriska banorna i enheten, den optiska PHY-enheten på ledningen och den passiva infrastrukturen bestående av kablar, fiberoptik och patchpaneler. En 100GbE-port kan använda flera banor internt eller vid det elektriska värdgränssnittet. Äldre, fortfarande vanliga lösningar bunter ofta ihop fyra 25 Gbit/s-banor; nyare gränssnitt specificerar elektriska banor upp till 100 Gbit/s.

Antalet banor säger inte nödvändigtvis något om hur en optisk modul överför data. En PHY kan använda parallella optiska banor eller överföra 100 Gbit/s via en våglängd. Detta medför olika krav på fibertyp, kontaktdon och patchkablar. En lämplig datahastighet och samma formfaktor räcker därför inte som bevis på kompatibilitet: switch, nätverkskort och transceiver måste stödja just den specifika PHY-varianten.

Die Felkorrigering Forward Error Correction (FEC) är en funktion som måste kontrolleras utifrån PHY- och plattformsdokumentationen vid val och idrifttagning av en specifik 100G-anslutning. En allmän giltig FEC-inställning kan inte härledas enbart utifrån porthastigheten eller modulens formfaktor. Avgörande är specifikationerna och de driftslägen som stöds av enheterna och sändtagarna i båda ändarna.

Formfaktorn QSFP28 beskriver främst konstruktionsformen och familjen av elektriska gränssnitt, men inte någon universell utbytbarhet mellan optiska enheter eller breakout-kablar. En breakout-kabel förutsätter att portläget, lane-fördelningen, motpartens profil och kabeldragningen är anpassade för detta. Innan inköp och migrering sker måste därför godkännanden från respektive switch- och NIC-tillverkare för modul, kabel, PHY, FEC och breakout-läge jämföras på ett bindande sätt. IEEE 802.3ck behandlar elektriska gränssnitt upp till 100 Gbit/s per lane, men ersätter inte en sådan plattformskontroll.

100G i Leaf-Spine-nätverket

I en routad Leaf-Spine-nätverket Servrar, lagringssystem och andra slutpunkter ansluts först till leaf-switchar. Varje leaf är ansluten till spine-switchar via flera likvärdiga Layer 3-anslutningar. Datatrafiken mellan två servrar i olika leaf-områden går därmed från käll-leaven via en spine till mål-leaven, istället för att behöva passera genom ett centralt Layer 2-nätverk.

Denna struktur är utformad för öst-väst-trafik, det vill säga kommunikation inom datacentret mellan applikationer, databaser, lagringsenheter och beräkningsnoder. Layer 3-underlaget tillhandahåller flera likvärdiga vägar. ECMP (Equal-Cost Multi-Path) kan fördela dataflöden på dessa vägar med hjälp av en hash-algoritm. På så sätt kan den aggregerade bandbredden utnyttjas; huruvida det fortfarande finns tillräcklig kapacitet kvar efter ett upplänksavbrott är dock en fråga om den konkreta dimensioneringen.

100GbE:s roll följer i detta sammanhang portprofilen. En tätt packad beräknings- eller lagringsserver kan behöva 100GbE på värden; i en annan pod aggregerar 100G-portar flera 25G-servrar som leaf-uplinks. På samma sätt kan 100G-länkar utgöra spine-nivån i en mindre design. Avgörande är förhållandet mellan ansluten värdkapacitet och upplänkskapacitet, det vill säga den medvetet planerade Överbokning.

En hög total kapacitet påskyndar inte ett enskilt dataflöde i obegränsad utsträckning. I många implementeringar tilldelar ECMP ett flöde en viss väg, vars hastighet begränsas av den vägens bandbredd och av ändsystemen. Ojämnt fördelade hashvärden eller ett fåtal mycket stora flöden kan därför leda till flaskhalsar trots ledig kapacitet på andra länkar. Kapacitetsplaneringen måste därför ta hänsyn till både summan av alla flöden och dominerande enskilda flöden samt felfall.

Jämför 100G-optik och kablar

Valet av en 100G-anslutning börjar inte med QSFP28-höljet, utan med hela överföringsvägen. En sändtagare definierar en viss PHY med krav på fiber, optiska vägar och räckvidd. Samma formfaktor kan därför rymma olika tekniker som varken optiskt eller elektriskt automatiskt passar ihop med varandra.

För korta parallella anslutningar används 100GBASE-SR4 Multimodefiber och vanligtvis MPO-12/MTP-12-kontakter. De fyra optiska sändnings- och mottagningsvägarna gör att korrekt polaritet måste beaktas redan i planeringsfasen. OM3 är specificerad för upp till 70 m och OM4 för upp till 100 m; befintliga duplex-LC-ledningar kan därför inte användas som SR4-sträckor utan lämplig infrastruktur.

De dokumenterade Juniper-modulerna för DR1, FR1 och LR1 använder singlemode-fiber och duplex-LC; de angivna räckvidderna är 500 m, 2 km och 10 km. Modulkontakten är dock en konkret produktegenskap och följer tillverkarens dokumentation. PHY, optiskt medium, antal fibrer och modulanslutning ska kontrolleras separat. Kontaktytor, kopplingar, skarvningar och reserver ska dessutom ingå i dämpningsbalansen.

Beteckningen LR kräver särskild noggrannhet: LR1 och LR4 De når visserligen upp till 10 km vardera via singlemode-fiber, men är olika PHY-standarder. LR1 arbetar med en enda 100 Gbit/s-våglängd, medan LR4 använder en annan metod med flera våglängder. Samma infrastruktur med två enfiberskablar (SMF) och mekaniskt kompatibla produktvarianter garanterar därför inte optisk interoperabilitet. Även den konkreta modulanslutningen är produktberoende; den dokumenterade Cisco CPAK 100GBASE LR4-varianten använder till exempel duplex-SC.

DAC:er och AOC:er är ett särskilt val för korta sträckor. För passiva eller aktiva kopparkablar och aktiva optiska kablar finns det ingen allmängiltig regel för räckvidd som kan härledas från „100G“. Innan inköp görs måste kompatibilitetsmatrisen för båda portarna samt den konkreta kabellängden och den avsedda böjningsradien kontrolleras.

Planera upplänkar med kapacitetsberäkning

Följande illustrativa beräknings exempel beskriver uttryckligen en single-homing-konstruktion: 48 värddatorer har vardera totalt en 25 GbE-anslutning. 24 värddatorer vardera är anslutna till exakt en av två leaf-enheter. Detta ger en ansluten värdkapacitet på 600 Gbit/s per leaf-enhet och 1 200 Gbit/s i hela poden. Det rör sig om en kapacitetsberäkning, inte om uppmätt applikationsgenomströmning.

Varje Leaf får två upplänkar på vardera 100 Gbit/s. Upplänkskapaciteten uppgår därmed till 200 Gbit/s per Leaf och 400 Gbit/s för båda Leafs. För varje Leaf ger 600 dividerat med 200 en antagen överbokning på 3:1. Denna summa beskriver den installerade länkkapaciteten; den användbara genomströmningen beror dessutom på dataströmmar, motparter och protokoll.

Om en enskild upplänk slutar fungera återstår 100 Gbit/s på den drabbade leaf-enheten för dess 600 Gbit/s värdanslutningar. Det beräknade förhållandet stiger där till 6:1. Om en hel leaf slutar fungera blir dess 24 värdar oåtkomliga i denna medvetet icke-redundanta värdanslutningsmodell. Två leafar räcker därför inte i sig för att säkerställa en fel säker anslutning för varje server.

En dual-homing-konfiguration måste beräknas separat. Med 48 värddatorer som vardera har två 25G-anslutningar är den fysiska anslutningskapaciteten 2 400 Gbit/s. Om båda anslutningarna hanterar trafik samtidigt eller om en fungerar som reserv påverkar detta belastningsantagandena. Dokumentera därför antalet anslutningar, den aktiva driftsmodellen, kapaciteten per leaf och önskad restkapacitet för varje tänkbart avbrottsscenario.

Även trafikfördelningen ingår i planeringen. ECMP fördelar flöden över likvärdiga routade vägar; länkaggregering sammanför fysiska länkar till en logisk anslutning. Båda metoderna måste utvärderas separat. Vid hashbaserad fördelning tilldelas inte ett enskilt flöde automatiskt hela den sammanlagda bandbredden. Planera för dominerande dataströmmar, säkerhetskopieringsfönster och reserver utöver det beräknade förhållandet.

Migrering från MPO till duplex-SMF

Övergången från en SR4-miljö till DR1 eller FR1 är ett infrastrukturprojekt, inte en automatisk kvalitetsförbättring. SR4 använder parallella multimode-vägar med MPO-12/MTP-12. DR1 och FR1 använder däremot duplex-singlemode-fiber; modulens anslutning är en produktegenskap. De DR1- och FR1-moduler som dokumenteras i Junipers översikt har duplex-LC-anslutningar. Befintliga kabelsträckningar, patchpaneler och reserver avgör därför om en parallell migrering eller en stegvis övergång är mest lämplig.

Först kartläggs det faktiska räckviddsbehovet: DR1 är avsett för 500 m, FR1 för 2 km. Om alla vägar ligger inom ett utrymme kan en fungerande SR4-kabeldragning fortfarande vara lämplig. Om sträckorna regelbundet överskrider SR4-gränserna eller om byggnadsdelar ska kopplas samman skapar Duplex-SMF med lämplig PHY en annan planeringsram.

• Dokumentera befintliga fibervägar, fiberklass, patchpaneler och MPO-polaritet per anslutning.
• Fastställ den erforderliga räckvidden och den PHY som passar för detta; välj inte DR1 och FR1 enbart utifrån kontakttypen.
• Planera duplex-SMF-fibervägar, inklusive produktspecifika modulanslutningar, dämpningsreserv, anslutningsytor och redundanta rutter.
• Utvärdera framtida porthastigheter, tillgängliga kortplatser och tidpunkten för övergången för varje pod.
• Kontrollera att switch, nätverkskort, sändtagare och eventuella breakout-tillval utgör en konkret godkänd kombination.

Die MPO-polaritet bör dokumenteras som en separat kontrollpunkt så länge delar av den parallella SR4-kabeldragningen finns kvar. En mekaniskt passande adapter ger inte automatiskt svar på frågor om signaltilldelning, antal fibrer eller tillåten överföringsmetod. Som planeringsrekommendation föreslås därför en tydlig åtskillnad och märkning av patchvägarna: SR4 via MMF å ena sidan, DR1 eller FR1 via SMF å andra sidan.

Duplex-SMF kan förenkla utbyggnadsmöjligheterna, men är inte generellt sett „bättre“. Kostnader för ny kabeldragning, tillgängliga ledningssträckor, driftsrutiner och den förväntade portutvecklingen är lika relevanta som räckvidden. Den tidigare klassificeringen av 100 Gbit/s-PON avser en strategi för accessnät och utgör inte någon kompatibilitets- eller arkitekturmall för Ethernet i datacentret; den bör därför inte förväxlas med 100GbE-PHY:er.100 Gbit/s-PON i korthet

Innan en inköp görs måste man kontrollera den specifika kombinationen av switch, nätverkskort och transceiver på båda sidor. Vid detta tillfälle kontrolleras vilka PHY-standarder som stöds, FEC-krav, optisk kodning, modulanslutningar och tillåtna kablar. Det är först efter detta godkännande som den planerade passiva kabeldragningen kan kopplas samman med en aktiv sträcka som faktiskt stöds; ett passande höljesformat räcker inte i sig.

Godkännande, telemetri och drift

Godkännandet av en 100GbE-länk inleds med en överskådlig inventering, inte med en enskild uppkopplingshändelse. Dokumentera för varje anslutning hela fibervägen, inklusive sträckning, patchpaneler, kopplingar och portbeteckningar. Ange vilken typ av optik som används, fiberklass, kontaktdonstyp, nominell räckvidd samt den valda FEC-inställningen på båda sidor. Tillverkarnas översikter skiljer mellan olika 100G-optiker utifrån räckvidd, fiber och överföringsmetod; dessa dokumenterade produktspecifikationer måste stämma överens med den faktiska sträckan.

• Kontrollera länkstatus och tilldelning av motstationer i båda ändarna.
• Jämför optiktyp, serienummer, fibertyp och dokumenterad kopplingsväg.
• Registrera FEC-status samt felräknare före överlämning och efter en fastställd övervakningstid.
• Spåra redundansvägarna på ett målinriktat sätt och kontrollera de tillhörande larmfunktionerna.
• Ange kontaktperson vid eskalering, reservlinser och aktuell kompatibilitetsgodkännande för respektive port.

Den som anges i optikdokumentationen Räckvidd beskriver respektive modulvariant och dess avsedda överföringsmedium; den utgör inte ett generellt godkännande av varje installerad sträcka. För godkännandet rekommenderas därför dessutom en projektspecifik dämpningsbalans. Där registreras de faktiskt föreliggande patchpunkterna, kopplingarna, skarvarna och de avsedda reserverna. Rena anslutningsytor och en fullständig dokumentation av installationsförloppet är också driftsmässiga kontrollkrav och bör uttryckligen fastställas i godkännandeplanen.

Under drift bör övervakningssystem registrera link-flaps, FEC-korrigerade och icke-korrigerbara fel, symbol- eller PCS-fel, optiska diagnostikvärden samt belastningen per väg, i den mån plattformen och sändtagaren tillhandahåller dessa värden. Ett enskilt mätvärde är i sig inte en diagnos: det avgörande är trenden, riktningen och den tidsmässiga kopplingen till förändringar i patchning, optik eller konfiguration. Vid avvikelser utreder driftsteamet först om endast en väg, en enhet eller flera likartade anslutningar är berörda.

För att uppnå redundans räcker det inte med att ha två logiska länkar. Kontrollera om de faktiskt går via separata portar, fiberkablar och – i den mån så är avsett – separata patchvägar, samt om larmreglerna rapporterar ett avbrott i tid. Krav på fysisk resiliens och driften av datacentret ingår i den övergripande planeringen; detta förklaras i artikeln Kriterier för datacentrets placering, säkerhet och skalbarhet ytterligare ramvillkor.

Systematiskt avgränsa 100G-störningar

Om en 100G-länk är ur funktion eller instabil är en fast testsekvens effektivare än att omedelbart byta ut flera komponenter. Kontrollera först den godkända kombinationen av switch eller NIC, transceiver, kabel och PHY samt det förväntade FEC-läget för båda ändarna. Elektriska gränssnitt med 100 Gbit/s per lane är standardiserade, men det innebär inte att en specifik plattform automatiskt stöder alla varianter av optiska moduler eller breakout-enheter.

Därefter följer den passiva sträckan: fibertyp, anslutningsyta, patchväg, märkning och, vid parallelloptik, särskilt MPO-polaritet . Felaktig polaritet kan förhindra en länk, medan en förväxling mellan OM3 och OM4 påverkar den tillåtna planeringslängden. SR4 kräver multimode- och parallella optiska vägar; DR1, FR1 och LR1 fungerar däremot via singlemode-duplexsträckor. En kassett som ser likadan ut eller en passande kontakt bevisar därför inte att överföringstypen är kompatibel.

Vid förhöjda felfrekvenser ska du jämföra felräknarna på båda sidor och koppla ihop deras starttidpunkt med eventuella ändringar. Om värdena endast stiger på en länk är optiken, kontaktytorna, patchkabeln och porten uppenbara kontrollpunkter. Om fel uppstår på flera anslutningar av samma typ måste gemensamma faktorer såsom FEC-inställningar, optisk kodning eller en plattformsprofil undersökas. Dokumenterade specifikationer för sändtagare hjälper till att jämföra räckvidd och fiberkrav med nätverkskonfigurationen.

Du bör först undersöka oväntat låga datahastigheter i applikationer efter att en stabil fysisk länk har upprättats. Ett enskilt flöde kan begränsas av sin väghastighet, ECMP-hashfördelning eller motparten, även om den aggregerade nätverksstrukturen har ledig kapacitet. Dessutom begränsar PCIe-anslutningen, NIC-drivrutinerna, CPU:n, paketstorlekarna, protokollöverheaden och lagringsprestandan datagenomströmningen. 100GbE-porten är därmed en möjlig, men inte automatiskt den avgörande flaskhalsen.

Utvärdera RoCE och beslut om utbyggnad

När det gäller RDMA över Converged Ethernet räcker inte porthastigheten som urvalskriterium. Den NVIDIA-källa som används här beskriver uttryckligen Cumulus Linux 4.0 och hänvisar själv till nyare produktdokumentation. Den fungerar därför som ett historiskt, produktbundet underlag för de mekanismer som behandlas. Dess kommandon och gränsvärden utgör inte en allmän, aktuell driftsguide för andra plattformar.

Denna dokumentation skiljer RoCEv1 på säkerhetslagret från RoCEv2 på lager 3. För RoCEv1 beskriver den Priority Flow Control (PFC). För RoCEv2 nämns Explicit Congestion Notification (ECN) för signalering från ände till ände över routade nätverk samt flödeskontroll för förlustfattigt Ethernet. Därifrån kan man dock varken härleda en aktuell universell PFC-konfiguration eller överförbarheten av de historiska Cumulus Linux 4.0-inställningarna till andra plattformar.

Kontrollera den aktuella dokumentationen för de nätverkskort, switchar och programvaruversioner som används inför en konkret utbyggnad. Vilken RoCE-version är avsedd, vilka trafikklasser används och vilka överbelastningskontrollmekanismer stöds av denna kombination? Fastställ dessutom hur köbeläggning, paketförluster, ECN-markeringar och PFC-pauser ska övervakas. Använd inte historiska tröskelvärden eller globala aktiveringsrekommendationer utan plattformsspecifik validering.

Valet mellan 25, 50, 100, 200 eller 400 GbE beror på belastningsprofilen, anslutningen till värddatorn och den nödvändiga reservkapaciteten vid eventuella avbrott. Ethernet-roadmappen visar tekniska utvecklingsriktningar, däribland 100G–800G-anslutningar och det framväxande 1,6 Tbit/s-Ethernet. Den fastställer dock varken en specifik leaf-spine-arkitektur eller vilken hastighet som är lämplig för varje serverklass. Därför krävs fortfarande en separat kapacitetsplanering.

Gör slutligen åtskillnad mellan publicerade standarder, pågående projekt och konkret tillgängliga produktfunktioner. IEEE för i nuläget P802.3dj som ett aktivt projekt för 200, 400 och 800 Gbit/s samt 1,6 Tbit/s. Detta innebär dock inget löfte om kompatibilitet med befintlig hårdvara. Kontrollera för varje utbyggnadsväg porttillgänglighet, optik, fibervägar, strömförbrukning och driftskostnader utifrån de faktiskt valda produkterna.