100-Gbit-netværk i datacentret: Teknik, optik og planlægning

At sætte 100GbE i den rette sammenhæng

100GbE betegner først og fremmest en Ethernet-porthastighed på nominelt 100 Gbit/s på MAC-niveau. Dette indebærer hverken en bestemt stiktype, en fastlagt fibertype, en bestemt lane-fordeling eller en bestemt transmissionsafstand. Ethernet-roadmappen placerer 100GbE fortsat ved siden af 25, 50, 200, 400 og højere datahastigheder; hvilket trin der passer, afhænger af trafikprofilen, porttætheden og udbygningsmålet.

Den nominelle portkapacitet skal ikke forveksles med en applikations gennemstrømning. Overhead fra Ethernet-, IP- og transportprotokoller reducerer den tilgængelige nyttelast; desuden kan CPU, NIC-drivere, PCIe-forbindelsen, hukommelses- eller lagringsydelsen samt den modstående enhed udgøre begrænsninger. Også konkurrerende datastrømme deler portens kapacitet. 100 Gbit/s er derfor en egenskab ved grænsefladen og ikke en garanti for dataoverførsel i en enkelt applikation.

En server med et 100GbE-netværkskort kan for eksempel, når der kopieres store datamængder, ligge betydeligt under porthastigheden, hvis kilden eller målet ikke læser eller skriver hurtigt nok. Omvendt øger en 100G-uplink den samlede kapacitet for en serverpod uden automatisk at øge hastigheden på hver enkelt host til 100 Gbit/s. Ved planlægningen skal man derfor se på slutsystemer, dataveje og belastningsspidser under ét.

100GbE er ikke generelt for lille eller for stor. 25GbE kan være tilstrækkeligt til almindelige serverforbindelser, mens 50GbE udgør et mellemtrin for højere hosttæthed. Afhængigt af designet er 100GbE velegnet til servere, lagring, leaf-uplinks eller mindre spine-niveauer. Ved stærkt aggregerede arbejdsbelastninger kan 200 eller 400GbE levere den nødvendige porttæthed. Offentliggjorte IEEE-rapporter dækker flere Ethernet-hastigheder og PHY-varianter; hastigheden alene beskriver dog ikke en komplet netværksarkitektur.

Lanes, PHY'er og fejlkorrektion

For at kunne træffe velbegrundede beslutninger skal tre niveauer undersøges hver for sig: de elektriske baner i enheden, den optiske PHY på ledningen og den passive infrastruktur bestående af kabler, fibre og patchpaneler. En 100GbE-port kan anvende flere baner internt eller på den elektriske værtsgrænseflade. Ældre, stadig udbredte løsninger samler ofte fire 25 Gbit/s-baner; nyere grænseflader specificerer elektriske baner op til 100 Gbit/s.

Antallet af baner siger ikke noget om, hvordan et optisk modul transmitterer. En PHY kan benytte parallelle optiske baner eller overføre 100 Gbit/s via én bølgelængde. Dette medfører forskellige krav til fibertype, stik og patchforbindelser. En passende datahastighed og samme formfaktor er derfor ikke tilstrækkeligt som bevis for kompatibilitet: Switch, netværkskort og transceiver skal understøtte den konkrete PHY-variant.

Die Korrektion af fejl Forward Error Correction (FEC) er en funktion, der skal kontrolleres ved valg og idriftsættelse af en konkret 100G-forbindelse på baggrund af PHY- og platformdokumentationen. Man kan ikke udlede en generel FEC-indstilling ud fra portens hastighed eller modulets formfaktor alene. Det afgørende er specifikationerne og de understøttede driftsformer for enhederne og transceiverne i begge ender.

QSFP28-formfaktoren beskriver først og fremmest konstruktionsformen og familien af elektriske grænseflader, men ikke en universel udskiftelighed af optikker eller breakout-kabler. Et breakout-kabel forudsætter, at porttilstanden, lane-fordelingen, modpartens profil og kabelføringen er tilpasset hertil. Inden anskaffelse og migrering skal godkendelserne fra de respektive switch- og NIC-producenter for modul, kabel, PHY, FEC og breakout-tilstand derfor afstemmes på en bindende måde. IEEE 802.3ck omhandler elektriske grænseflader op til 100 Gbit/s pr. lane, men erstatter ikke en sådan platformskontrol.

100G i Leaf-Spine-netværket

I en routet Leaf-Spine-netværk Serverne, lagringssystemerne og andre slutpunkter forbindes først til leaf-switche. Hvert leaf er forbundet til spine-switches via flere ligeværdige Layer 3-forbindelser. Datatrafikken mellem to servere i forskellige leaf-områder løber dermed fra kilde-leafet via en spine til mål-leafet, i stedet for at skulle passere gennem et centralt Layer 2-netværk.

Denne struktur er designet til øst-vest-trafik, dvs. kommunikation inden for datacentret mellem applikationer, databaser, lagringsenheder og beregningsnoder. Layer 3-underlaget stiller flere ligeværdige ruter til rådighed. ECMP (Equal-Cost Multi-Path) kan fordele datastrømme på disse veje ved hjælp af en hash-algoritme. På denne måde kan den samlede båndbredde udnyttes; om der stadig er tilstrækkelig kapacitet efter et uplink-nedbrud, afhænger dog af den konkrete dimensionering.

100GbE’s rolle følger her portprofilen. En tætpakket compute- eller storage-server kan have brug for 100GbE på værten; i en anden pod samler 100G-porte flere 25G-servere som leaf-uplinks. Ligeledes kan 100G-forbindelser udgøre spine-laget i et mindre design. Det afgørende er forholdet mellem tilsluttet værtskapacitet og uplink-kapacitet, altså den bevidst planlagte Overbooking.

En høj samlet kapacitet fremskynder ikke en enkelt datastrøm vilkårligt. I mange implementeringer tildeler ECMP en datastrøm en bestemt rute, hvis hastighed er begrænset af denne rutes båndbredde og af slutsystemerne. Ujævnt fordelt hashværdier eller få meget store datastrømme kan derfor føre til flaskehalse på andre forbindelser, selvom der er ledig kapacitet. Kapacitetsplanlægning skal derfor tage højde for både summen af alle datastrømme samt dominerende enkeltdatastrømme og nedbrudssituationer.

Sammenlign 100G-optik og kabler

Valget af en 100G-forbindelse starter ikke med QSFP28-huset, men med den samlede transmissionsvej. En transceiver definerer en bestemt PHY med krav til fiber, optiske veje og rækkevidde. Den samme formfaktor kan derfor rumme forskellige teknologier, som hverken optisk eller elektrisk automatisk passer sammen.

Til korte parallelle forbindelser anvendes 100GBASE-SR4 Multimode-fiber og typisk MPO-12/MTP-12-stik. De fire optiske sende- og modtagebaner gør den korrekte polaritet til en del af planlægningen. OM3 er specificeret op til 70 m, OM4 op til 100 m; eksisterende duplex-LC-forbindelser kan derfor ikke anvendes som SR4-strækninger uden passende infrastruktur.

De dokumenterede Juniper-moduler til DR1, FR1 og LR1 anvender singlemode-fiber og duplex-LC; de angivne rækkevidder er henholdsvis 500 m, 2 km og 10 km. Modulstikket er dog en konkret produktegenskab og følger producentens dokumentation. PHY, optisk medium, antal fibre og modulstik skal kontrolleres separat. Stikflader, koblinger, splejsninger og reserver skal desuden medtages i dæmpningsbalancen.

Betegnelsen LR kræver særlig omhu: LR1 og LR4 De når ganske vist begge op til 10 km via single-mode-fiber, men er forskellige PHY’er. LR1 fungerer med en enkelt 100 Gbit/s-bølgelængde, mens LR4 anvender en anden flerbølgelængdemetode. Den samme infrastruktur med to SMF-fibre og mekanisk kompatible produktvarianter garanterer derfor ikke optisk interoperabilitet. Også den konkrete modulforbindelse afhænger af produktet; den dokumenterede Cisco CPAK 100GBASE LR4-variant bruger for eksempel Duplex-SC.

DAC’er og AOC’er er et særskilt valg til korte afstande. Der findes ingen generel regel for rækkevidden af passive eller aktive kobberkabler og aktive optiske kabler, som kan udledes af „100G“. Inden indkøbet skal kompatibilitetsmatricen for begge portender samt den konkrete kabellængde og den forventede bøjningsradius kontrolleres.

Planlægning af uplinks med kapacitetsberegning

Det følgende illustrative regneeksempel beskriver udtrykkeligt et single-homing-design: 48 værter har hver især i alt én 25 GbE-port. Der er 24 værter, der hver er forbundet med præcis én af to Leafs. Dette giver en tilsluttet værtskapacitet på 600 Gbit/s pr. Leaf og 1.200 Gbit/s i hele pod'en. Der er tale om en kapacitetsberegning, ikke om målt applikationsgennemstrømning.

Hvert Leaf får to uplinks på hver 100 Gbit/s. Uplink-kapaciteten udgør således 200 Gbit/s pr. Leaf og 400 Gbit/s for begge Leafs. For hver Leaf giver 600 divideret med 200 en antaget overbooking på 3:1. Dette tal beskriver den installerede linkkapacitet; den anvendelige båndbredde afhænger desuden af datastrømme, modparter og protokoller.

Hvis en enkelt uplink svigter, forbliver der på den berørte leaf 100 Gbit/s til dens 600 Gbit/s host-tilslutninger. Det beregnede forhold stiger her til 6:1. Nedbruddet af en hel leaf gør i denne bevidst ikke-redundante host-tilslutningsmodel dens 24 hosts utilgængelige. To leafs alene sikrer derfor endnu ikke en fejlsikker tilslutning af hver server.

Et dual-homing-design skal beregnes separat. Med 48 værter, der hver har to 25G-tilslutninger, er der fysisk tilsluttet 2.400 Gbit/s. Om begge tilslutninger samtidig fører trafik, eller om den ene fungerer som reserve, ændrer belastningsantagelserne. Dokumentér derfor antallet af tilslutninger, den aktive driftsmodel, kapaciteten pr. leaf og den ønskede restkapacitet for hvert af de betragtede nedbrudsscenarier.

Også fordelingen af trafikken indgår i planlægningen. ECMP fordeler datastrømme over ligeværdige ruter; linkaggregering samler fysiske links til en logisk forbindelse. Begge metoder skal vurderes hver for sig. Ved hash-baseret fordeling tildeles en enkelt datastrøm ikke automatisk den samlede båndbredde. Planlæg dominerende datastrømme, backup-vinduer og reserver ud over det beregnede forhold.

Overgang fra MPO til duplex-SMF

Overgangen fra et SR4-miljø til DR1 eller FR1 er et infrastrukturprojekt, ikke en automatisk kvalitetsforbedring. SR4 anvender parallelle multimode-stier med MPO-12/MTP-12. DR1 og FR1 anvender derimod duplex-singlemode-fibre; modulets tilslutning er en produktegenskab. De DR1- og FR1-moduler, der er dokumenteret i Juniper-oversigten, har duplex-LC-tilslutninger. Eksisterende kabelføringer, patchpaneler og reserver afgør derfor, om en parallel migrering eller en trinvis omstilling er mest hensigtsmæssig.

Først fastlægges det faktiske rækkeviddebehov: DR1 er beregnet til 500 m, FR1 til 2 km. Hvis alle forbindelser ligger inden for et rum, kan en fungerende SR4-kabelføring fortsat være passende. Hvis ruterne regelmæssigt overskrider SR4-grænserne, eller hvis der skal oprettes forbindelse mellem forskellige bygningsdele, skaber Duplex-SMF med den passende PHY et andet planlægningsgrundlag.

• Dokumenter eksisterende fiberforbindelser, fiberklasse, patchpaneler og MPO-polaritet for hver forbindelse.
• Fastlæg den nødvendige rækkevidde og den tilhørende PHY; vælg ikke DR1 og FR1 udelukkende ud fra stiktypen.
• Planlægning af duplex-SMF-fiberforbindelser, herunder produktspecifikke modulforbindelser, dæmpningsreserve, stikflader og redundante ruter.
• Vurdere fremtidige porthastigheder, tilgængelige udvidelseskort og tidspunktet for overgangen for hver enkelt pod.
• Kontroller, at switch, NIC, transceiver og eventuelle breakout-optioner udgør en konkret godkendt kombination.

Die MPO-polaritet bør dokumenteres som et særskilt kontrolpunkt, så længe dele af den parallelle SR4-kabelføring forbliver intakt. En mekanisk passende adapter giver ikke automatisk svar på spørgsmål om signaltildeling, antal fibre eller tilladte transmissionsmetoder. Som planlægningsanbefaling anbefales derfor en klar adskillelse og mærkning af patchforbindelserne: SR4 via MMF på den ene side, DR1 eller FR1 via SMF på den anden side.

Duplex-SMF kan forenkle udvidelsesmulighederne, men er ikke generelt „bedre“. Omkostninger til ny kabelføring, tilgængelige tracéer, driftsgange og den forventede portudvikling er lige så relevante som rækkevidden. Den tidligere klassificering af 100 Gbit/s-PON vedrører en tilgang til adgangsnetværk og er ikke en kompatibilitets- eller arkitekturstandard for Ethernet i datacentret; den bør derfor ikke forveksles med 100GbE-PHY'er.100 Gbit/s PON – et overblik

Inden en indkøb skal den konkrete kombination af switch, netværkskort og transceiver på begge sider kontrolleres. Her kontrolleres understøttede PHY-standarder, FEC-krav, optisk kodning, modulstik og tilladte kabler. Først denne godkendelse forbinder den planlagte passive kabelføring med en faktisk understøttet aktiv strækning; et passende kabinetformat er ikke i sig selv tilstrækkeligt.

Aflevering, telemetri og drift

Godkendelsen af en 100GbE-forbindelse begynder med en overskuelig statusopgørelse, ikke med en enkelt opkoblingshændelse. Dokumenter for hver forbindelse den fulde fiberrute, herunder tracé, patchpaneler, koblinger og portbetegnelser. Angiv den anvendte optiktype, fiberklasse, stiktype, nominel rækkevidde samt den valgte FEC-indstilling på begge sider. Producentoversigter skelner mellem 100G-optikker efter rækkevidde, fiber og transmissionsmetode; disse dokumenterede produktspecifikationer skal stemme overens med den faktiske strækning.

• Kontroller forbindelsesstatus og tildeling af modparten i begge ender.
• Sammenlign optiktype, serienummer, fibertype og den dokumenterede patch-rute.
• Registrer FEC-status samt fejltælleren før overdragelse og efter en fastsat overvågningsperiode.
• Gennemgå redundansveje målrettet og kontrollér de tilhørende alarmprocedurer.
• Gem oplysninger om kontaktperson ved eskalering, reservedele og den aktuelle kompatibilitetsgodkendelse for den pågældende port.

Den i optikdokumentationen angivne Rækkevidde beskriver den pågældende modulvariant og det tilsigtede transmissionsmedium; den udgør ikke en generel godkendelse af alle installerede strækninger. Til afleveringen anbefales det derfor desuden at udarbejde en projektspecifik dæmpningsopgørelse. Her registreres de faktisk forekommende patchpunkter, koblinger, splejsninger og planlagte reserver. Rene stikflader og en fuldstændig dokumentation af forløbet er ligeledes driftsmæssige kontrolkrav og bør udtrykkeligt fastlægges i afleveringsplanen.

Under drift bør overvågningssystemerne registrere link-flaps, FEC-korrigerede og ikke-korrigerbare fejl, symbol- eller PCS-fejl, optiske diagnoseværdier samt udnyttelsesgraden pr. sti, i det omfang platformen og transceiveren stiller disse værdier til rådighed. En enkelt tællerværdi er ikke i sig selv en diagnose: Det afgørende er tendensen, retningen og den tidsmæssige sammenhæng med ændringer i patch-konfiguration, optik eller konfiguration. Ved afvigelser afklarer driftsteamet først, om det kun er en sti, en enhed eller flere ensartede forbindelser, der er berørt.

For at opnå redundans er det ikke nok blot at have to logiske forbindelser. Kontroller, om de rent faktisk går via separate porte, fibre og – hvor det er forudset – separate patch-ruter, og om alarmreglerne melder et tab i tide. Krav til fysisk robusthed og driften af datacentret skal indgå i den overordnede planlægning; dette forklares nærmere i artiklen Kriterier for placering, sikkerhed og skalerbarhed i et datacenter yderligere rammebetingelser.

Systematisk indkredsning af 100G-fejl

Hvis en 100G-forbindelse er nede eller ustabil, er en fast testrækkefølge mere effektiv end øjeblikkelig udskiftning af flere komponenter. Test først den godkendte kombination af switch eller NIC, transceiver, kabel og PHY samt den forventede FEC-driftstilstand for begge ender. Elektriske grænseflader med 100 Gbit/s pr. lane er standardiseret, men det betyder ikke, at en bestemt platform automatisk understøtter alle optiske eller breakout-varianter.

Derefter følger den passive del: fibertype, stikflade, patch-forløb, mærkning og, ved paralleloptik, især MPO-polaritet . Forkert polaritet kan forhindre en forbindelse, mens en forveksling af OM3 og OM4 påvirker den tilladte planlægningslængde. SR4 forudsætter multimode- og parallelle optiske stier; DR1, FR1 og LR1 fungerer derimod via singlemode-duplex-strækninger. En kassette, der ligner den udvendigt, eller et passende stik beviser derfor ikke, at overførselstypen passer sammen.

Ved forhøjede fejlrater skal du sammenligne fejltællerne på begge sider og knytte deres begyndelse til ændringer. Hvis værdierne kun stiger på én forbindelse, er optikken, stikfladerne, patch-strækningen og porten oplagte kontrolpunkter. Hvis der opstår fejl på flere forbindelser af samme type, skal fælles faktorer såsom FEC-indstilling, optisk kodning eller en platformprofil undersøges. Dokumenterede transceiver-specifikationer hjælper med at afstemme rækkevidde og fiberkrav i forhold til opbygningen.

Uventet lave datahastigheder i applikationerne bør du først undersøge, når der er et stabilt fysisk link. En enkelt datastrøm kan være begrænset af sin rutehastighed, ECMP-hash-fordelingen eller modparten, selvom den samlede fabric har ledig kapacitet. Derudover begrænser PCIe-forbindelsen, NIC-driveren, CPU’en, pakkestørrelser, protokoloverhead og lagringsydelsen datagennemstrømningen. 100GbE-porten er dermed en mulig, men ikke nødvendigvis den afgørende flaskehals.

Vurdering af RoCE og beslutningen om udvidelse

Ved RDMA over Converged Ethernet er porthastigheden ikke et tilstrækkeligt udvælgelseskriterium. Den her anvendte NVIDIA-kilde beskriver udtrykkeligt Cumulus Linux 4.0 og henviser selv til nyere produktdokumentation. Den tjener derfor som historisk, produktrelateret dokumentation for de omhandlede mekanismer. Dens kommandoer og grænseværdier udgør ikke en generel, aktuel driftsvejledning for andre platforme.

Denne dokumentation adskiller RoCEv1 på sikkerhedslaget fra RoCEv2 via lag 3. For RoCEv1 beskriver den Priority Flow Control (PFC). For RoCEv2 nævner den Explicit Congestion Notification (ECN) til ende-til-ende-signalering via routede netværk samt flowkontrol til tabsfrit Ethernet. Heraf kan man dog hverken udlede en aktuel universel PFC-konfiguration eller overførbarheden af de historiske Cumulus Linux 4.0-indstillinger til andre platforme.

Kontroller den aktuelle dokumentation for de anvendte NIC’er, switche og softwareversioner i forbindelse med en konkret udvidelse. Hvilken RoCE-version er planlagt, hvilke trafikklasser anvendes, og hvilke overbelastningskontrolmekanismer understøtter denne kombination? Fastlæg desuden, hvordan købelægning, pakketab, ECN-markeringer og PFC-pauser skal overvåges. Anvend ikke historiske tærskelværdier eller globale aktiveringsanbefalinger uden platformspecifik validering.

Valget mellem 25, 50, 100, 200 eller 400 GbE afhænger af belastningsprofilen, host-tilslutningen og den nødvendige reservekapacitet i tilfælde af nedbrud. Ethernet-køreplanen viser teknologiske udviklingsretninger, herunder 100G–800G-forbindelser og det nye 1,6 Tbit/s-Ethernet. Den fastlægger dog hverken en bestemt leaf-spine-arkitektur eller, hvilken hastighed der er egnet til hver serverklasse. Derfor er det stadig nødvendigt at udarbejde en separat kapacitetsplanlægning.

Skil endelig mellem offentliggjorte standarder, igangværende projekter og konkret tilgængelige produktfunktioner. IEEE fører P802.3dj på det aktuelle tidspunkt som et aktivt projekt for 200, 400 og 800 Gbit/s samt 1,6 Tbit/s. Dette udgør ikke nogen garanti for eksisterende hardware. Kontroller for hver udbygningsvej porttildelinger, optikker, fiberforløb, strømforbrug og driftsomkostninger ud fra de faktisk valgte produkter.