100-Gbit-netwerken in het datacenter: techniek, optische componenten en planning

100GbE op de juiste plaats zetten

100GbE verwijst in de eerste plaats naar een Ethernet-poortsnelheid van nominaal 100 Gbit/s op MAC-niveau. Hieruit volgt noch een bepaald type connector, noch een vastgelegde vezelsoort, lane-indeling of transmissieafstand. De Ethernet-roadmap plaatst 100GbE verder naast 25, 50, 200, 400 en hogere datasnelheden; welk niveau geschikt is, hangt af van het verkeersprofiel, de poortdichtheid en de uitbreidingsdoelstelling.

De nominale poortcapaciteit is niet hetzelfde als de doorvoersnelheid van een toepassing. Overhead van Ethernet-, IP- en transportprotocollen vermindert de beschikbare nuttige bandbreedte; bovendien kunnen de CPU, NIC-stuurprogramma’s, PCIe-verbinding, geheugen- of opslagprestaties en de tegenpartij deze bandbreedte beperken. Ook concurrerende datastromen delen de capaciteit van een poort. 100 Gbit/s zijn daarom een eigenschap van de interface en geen garantie voor de gegevensoverdracht van een afzonderlijke toepassing.

Een server met een 100GbE-NIC kan bijvoorbeeld bij het kopiëren van grote hoeveelheden gegevens aanzienlijk onder de poortsnelheid blijven als de bron of het doel niet snel genoeg leest of schrijft. Omgekeerd verhoogt een 100G-uplink de totale capaciteit van een serverpod, zonder dat elke afzonderlijke host automatisch wordt versneld tot 100 Gbit/s. Bij de planning moeten daarom eindsystemen, datapaden en piekbelastingen gezamenlijk in ogenschouw worden genomen.

100GbE is niet per definitie te klein of te groot. 25GbE kan volstaan voor algemene serveraansluitingen, terwijl 50GbE een tussenstap vormt voor een hogere hostdichtheid. Afhankelijk van het ontwerp is 100GbE geschikt voor servers, opslag, leaf-uplinks of kleinere spine-niveaus. Bij sterk geaggregeerde workloads kunnen 200 of 400GbE de benodigde poortdichtheid bieden. Gepubliceerde IEEE-documenten behandelen verschillende Ethernet-snelheden en PHY-varianten; de snelheid alleen beschrijft echter geen volledige netwerkarchitectuur.

Lanes, PHY's en foutcorrectie

Om weloverwogen beslissingen te kunnen nemen, moeten drie niveaus afzonderlijk worden bekeken: de elektrische lanes in het apparaat, de optische PHY op de verbinding en de passieve infrastructuur bestaande uit kabels, vezels en patchpanelen. Een 100GbE-poort kan intern of op de elektrische host-interface meerdere lanes gebruiken. Oudere, nog steeds gangbare benaderingen bundelen vaak vier 25 Gbit/s-lanes; nieuwere interfaces specificeren elektrische lanes tot 100 Gbit/s.

Het aantal lanes zegt nog niets over de manier waarop een optische module gegevens overdraagt. Een PHY kan gebruikmaken van parallelle optische paden of 100 Gbit/s via één golflengte transporteren. Dit leidt tot verschillende eisen aan het type vezel, de connectoren en de patchpaden. Een geschikte gegevenssnelheid en dezelfde vormfactor volstaan dus niet als bewijs van compatibiliteit: de switch, netwerkkaart en transceiver moeten de specifieke PHY-variant ondersteunen.

De Foutcorrectie Forward Error Correction (FEC) is een kenmerk dat bij de selectie en inbedrijfstelling van een specifieke 100G-verbinding moet worden gecontroleerd aan de hand van de PHY- en platformdocumentatie. Uit de poortsnelheid of de vormfactor van de module alleen kan geen algemeen geldende FEC-instelling worden afgeleid. Bepalend zijn de specificaties en ondersteunde bedrijfsmodi van de apparaten en transceivers aan beide uiteinden.

De QSFP28-vormfactor beschrijft vooral de bouwvorm en de familie van elektrische interfaces, maar houdt geen universele uitwisselbaarheid van optische modules of breakout-kabels in. Een breakout-kabel vereist dat de poortmodus, de lane-indeling, het profiel van het tegenoverliggende apparaat en de bekabeling hiervoor geschikt zijn. Vóór aanschaf en migratie moeten daarom de goedkeuringen van de betreffende switch- en NIC-fabrikanten voor module, kabel, PHY, FEC en breakout-modus verplicht met elkaar worden afgestemd. IEEE 802.3ck behandelt elektrische interfaces tot 100 Gbit/s per lane, maar vervangt een dergelijke platformcontrole niet.

100G in het Leaf-Spine-netwerk

In een gerouteerde Leaf-Spine-netwerk Servers, opslagsystemen en andere eindpunten worden eerst aangesloten op leaf-switches. Elke leaf is via meerdere gelijkwaardige Layer 3-verbindingen gekoppeld aan spine-switches. Het dataverkeer tussen twee servers in verschillende leaf-gebieden verloopt daarmee van de bron-leaf via een spine naar de doel-leaf, in plaats van dat het een centraal Layer 2-netwerk moet doorkruisen.

Deze structuur is ontworpen voor oost-west-verkeer, dat wil zeggen communicatie binnen het datacenter tussen applicaties, databases, opslag en rekenknooppunten. De Layer 3-underlay biedt meerdere gelijkwaardige paden. ECMP (Equal-Cost Multi-Path) kan datastromen op basis van een hash-algoritme over deze paden verdelen. Zo kan de geaggregeerde bandbreedte worden benut; of er na een uitval van de uplink nog voldoende capaciteit overblijft, is echter een kwestie van de concrete dimensionering.

De rol van 100GbE volgt daarbij het poortprofiel. Een dichtbezette compute- of storage-server kan 100GbE op de host nodig hebben; in een andere pod bundelen 100G-poorten meerdere 25G-servers als leaf-uplinks. Evenzo kunnen 100G-verbindingen het spine-niveau van een kleiner ontwerp vormen. Doorslaggevend is de verhouding tussen de aangesloten hostcapaciteit en de uplinkcapaciteit, dat wil zeggen de bewust geplande Overboeking.

Een hoge totale capaciteit versnelt een afzonderlijke datastroom niet willekeurig. In veel implementaties wijst ECMP een stroom toe aan een bepaald pad; de snelheid daarvan blijft beperkt door de bandbreedte van dat pad en door de eindsystemen. Ongelijk verdeelde hash-waarden of een klein aantal zeer grote stromen kunnen daarom, ondanks vrije capaciteit op andere verbindingen, tot knelpunten leiden. Bij capaciteitsplanning moet daarom zowel rekening worden gehouden met de som van alle stromen als met dominante afzonderlijke stromen en storingsscenario’s.

100G-optische componenten en kabels vergelijken

Bij de keuze van een 100G-verbinding gaat het niet in de eerste plaats om de QSFP28-behuizing, maar om het volledige transmissietraject. Een transceiver definieert een bepaalde PHY met eisen aan de vezel, de optische paden en het bereik. Dezelfde vormfactor kan daarom verschillende technologieën bevatten die noch optisch, noch elektrisch automatisch op elkaar zijn afgestemd.

Voor korte parallelle verbindingen gebruik je 100GBASE-SR4 Multimode-glasvezel en doorgaans MPO-12/MTP-12-connectoren. Door de vier optische zend- en ontvangstkanalen maakt de juiste polariteit deel uit van de planning. OM3 is gespecificeerd tot 70 m, OM4 tot 100 m; bestaande duplex-LC-trajecten kunnen daardoor niet zonder de juiste infrastructuur als SR4-traject worden gebruikt.

De gedocumenteerde Juniper-modules voor DR1, FR1 en LR1 maken gebruik van singlemode-glasvezel en duplex-LC; de genoemde reikwijdtes bedragen 500 m, 2 km en 10 km. De modulesteekverbinding is niettemin een concreet productkenmerk en volgt de documentatie van de fabrikant. PHY, optisch medium, aantal vezels en moduleaansluiting moeten afzonderlijk worden gecontroleerd. Steekvlakken, koppelingen, lasverbindingen en reserves moeten bovendien worden meegenomen in de dempingsbalans.

De aanduiding LR vereist bijzondere zorgvuldigheid: LR1 en LR4 Ze halen weliswaar elk een bereik tot 10 km via single-mode glasvezel, maar het zijn verschillende PHY’s. LR1 werkt met één enkele 100 Gbit/s-golflengte, terwijl LR4 gebruikmaakt van een andere methode met meerdere golflengten. Dezelfde infrastructuur met twee SMF-vezels en mechanisch compatibele productvarianten garanderen daarom geen optische interoperabiliteit. Ook de specifieke moduleaansluiting blijft productafhankelijk; de gedocumenteerde Cisco CPAK 100GBASE LR4-variant maakt bijvoorbeeld gebruik van duplex-SC.

DAC’s en AOC’s zijn een aparte keuze voor korte afstanden. Voor passieve of actieve koperen kabels en actieve optische kabels geldt geen algemeen geldende regel voor het bereik die zou kunnen worden afgeleid uit „100G“. Vóór de aanschaf moeten de compatibiliteitsmatrix van beide poortzijden, de concrete kabellengte en de beoogde buigradius worden gecontroleerd.

Uplinks plannen met capaciteitsberekening

Het volgende illustratieve rekenvoorbeeld beschrijft uitdrukkelijk een single-homing-ontwerp: 48 hosts beschikken elk over in totaal één 25GbE-aansluiting. telkens 24 hosts zijn verbonden met precies één van de twee leaves. Dit resulteert in een aangesloten hostcapaciteit van 600 Gbit/s per leaf en 1.200 Gbit/s in de gehele pod. Het gaat hier om een capaciteitsberekening, niet om gemeten applicatiedoorvoer.

Elke Leaf krijgt twee uplinks van elk 100 Gbit/s. De uplinkcapaciteit bedraagt dus 200 Gbit/s per Leaf en 400 Gbit/s over beide Leafs. Voor elke Leaf levert 600 gedeeld door 200 een veronderstelde overboeking van 3:1 op. Dit getal beschrijft de geïnstalleerde linkcapaciteit; de bruikbare doorvoersnelheid hangt bovendien af van datastromen, tegenpartijen en protocollen.

Als één uplink uitvalt, blijft er op de betreffende leaf 100 Gbit/s over voor zijn 600 Gbit/s host-aansluitingen. De theoretische verhouding stijgt daar tot 6:1. Het uitvallen van een hele leaf maakt in dit bewust niet-redundante host-aansluitmodel de 24 hosts ervan onbereikbaar. Twee leafs alleen zorgen daarom nog niet voor een storingsvrije aansluiting van elke server.

Een dual-homing-ontwerp moet apart worden berekend. Bij 48 hosts met elk twee 25G-aansluitingen is er fysiek 2.400 Gbit/s aangesloten. Of beide aansluitingen tegelijkertijd verkeer verwerken of dat één ervan als reserve dient, beïnvloedt de aannames voor de belasting. Documenteer daarom het aantal aansluitingen, het actieve bedrijfsmodel, de capaciteit per leaf en de gewenste restcapaciteit voor elk onderzochte uitvalgeval.

Ook de verdeling van het verkeer maakt deel uit van de planning. ECMP verdeelt datastromen over gelijkwaardige gerouteerde paden; linkaggregatie bundelt fysieke verbindingen tot één logische verbinding. Beide methoden moeten afzonderlijk worden beoordeeld. Bij hash-gebaseerde verdeling krijgt een enkele datastroom niet automatisch de volledige totale bandbreedte toegewezen. Plan dominante datastromen, back-upvensters en reserves in aanvulling op de theoretische verhouding.

Migratie van MPO naar duplex-SMF

De overstap van een SR4-omgeving naar DR1 of FR1 is een infrastructuurproject, geen automatische kwaliteitsverbetering. SR4 maakt gebruik van parallelle multimode-paden met MPO-12/MTP-12. DR1 en FR1 maken daarentegen gebruik van duplex singlemode-glasvezel; de aansluiting van de module is een producteigenschap. De DR1- en FR1-modules die in het Juniper-overzicht worden beschreven, beschikken over duplex-LC-aansluitingen. Bestaande tracéën, patchpanelen en reserves bepalen daarom of een parallelle migratie of een stapsgewijze omschakeling zinvoller is.

Allereerst wordt de werkelijke benodigde reikwijdte vastgesteld: DR1 is bedoeld voor 500 m, FR1 voor 2 km. Als alle trajecten binnen één ruimte liggen, kan een goed functionerende SR4-bekabeling nog steeds geschikt zijn. Als routes regelmatig de SR4-grenzen overschrijden of als delen van een gebouw met elkaar moeten worden verbonden, biedt duplex-SMF met de juiste PHY een ander planningskader.

• De bestaande vezelroutes, vezelklasse, patchpanelen en MPO-polariteit per verbinding documenteren.
• Bepaal het benodigde bereik en de daarvoor geschikte PHY; kies DR1 en FR1 niet alleen op basis van het type stekker.
• Duplex-SMF-glasvezeltrajecten plannen, inclusief productspecifieke moduleaansluitingen, dempingsreserve, aansluitvlakken en redundante routes.
• Beoordeel de toekomstige poortsnelheden, de beschikbare uitbreidingskaarten en het tijdstip van de omschakeling per pod.
• Controleer of de switch, NIC, transceiver en eventuele breakout-opties een concreet goedgekeurde combinatie vormen.

De MPO-polariteit moet als apart controlepunt worden gedocumenteerd zolang delen van de parallelle SR4-bekabeling behouden blijven. Een mechanisch passende adapter geeft niet automatisch antwoord op vragen over signaaltoewijzing, het aantal vezels of de toegestane transmissiemethode. Als ontwerpaanbeveling is het daarom raadzaam om de patchpaden duidelijk te scheiden en te markeren: SR4 via MMF enerzijds, DR1 of FR1 via SMF anderzijds.

Duplex-SMF kan uitbreidingsmogelijkheden vereenvoudigen, maar is niet per definitie „beter“. Kosten voor nieuwe bekabeling, beschikbare tracé’s, bedrijfsprocessen en de verwachte poortontwikkeling zijn net zo relevant als het bereik. De eerdere classificatie van 100 Gbit/s-PON heeft betrekking op een benadering van het toegangsnetwerk en is geen compatibiliteits- of architectuurmodel voor Ethernet in het datacenter; deze mag daarom niet worden verward met 100GbE-PHY's.100 Gbit/s PON in een oogopslag

Voorafgaand aan een aankoop is het noodzakelijk om de specifieke combinatie van switch, netwerkkaart en transceiver aan beide kanten te controleren. Daarbij worden de ondersteunde PHY, FEC-specificaties, optische codering, moduleaansluitingen en toegestane kabels gecontroleerd. Pas na deze goedkeuring wordt de geplande passieve bekabeling gekoppeld aan een daadwerkelijk ondersteunde actieve verbinding; een passend behuizingsformaat alleen is niet voldoende.

Oplevering, telemetrie en exploitatie

De acceptatie van een 100GbE-verbinding begint met een traceerbare inventarisatie, niet met een eenmalige link-up-handeling. Documenteer per verbinding het volledige glasvezeltraject, inclusief het tracé, patchpanelen, koppelingen en poortbenamingen. Vermeld ook het gebruikte type optiek, de vezelklasse, het type connector, het beoogde bereik en de aan beide zijden gekozen FEC-instelling. In fabrikantsoverzichten wordt onderscheid gemaakt tussen 100G-optieken op basis van bereik, vezel en transmissiemethode; deze gedocumenteerde productspecificaties moeten overeenkomen met het daadwerkelijke traject.

• Controleer de status van de verbinding en de toewijzing van de tegenpartij aan beide uiteinden.
• Controleer het type optische component, het serienummer, het type vezel en het gedocumenteerde patchpad.
• De FEC-status en de foutenteller registreren vóór de overdracht en na een vastgestelde observatieperiode.
• De redundantiepaden doelgericht in kaart brengen en de bijbehorende alarmprocedures controleren.
• Leg de contactgegevens voor escalatie, vervangende optiek en de actuele compatibiliteitsgoedkeuring voor de betreffende poort vast.

De in de optische documentatie vermelde Bereik beschrijft de betreffende modulevariant en het daarvoor bestemde transmissiemedium; het is geen algemene goedkeuring van elk geïnstalleerd traject. Voor de oplevering wordt daarom bovendien een projectspecifieke dempingsbalans aanbevolen. Daarin worden de daadwerkelijk aanwezige patchpunten, koppelingen, lasverbindingen en voorziene reserves vastgelegd. Schone aansluitvlakken en een volledige documentatie van het traject zijn eveneens operationele testvereisten en moeten uitdrukkelijk in het opleveringsplan worden vastgelegd.

Tijdens het gebruik moeten bewakingssystemen link-flaps, FEC-gecorrigeerde en niet-corrigeerbare fouten, symbool- of PCS-fouten, optische diagnosewaarden en de belasting per pad registreren, voor zover het platform en de transceiver deze waarden beschikbaar stellen. Een enkele tellerwaarde is op zich nog geen diagnose: doorslaggevend zijn de trend, de richting en het tijdsverband met wijzigingen in de patchconfiguratie, de optische componenten of de configuratie. Bij afwijkingen gaat het operationele team eerst na of slechts één pad, één apparaat of meerdere soortgelijke verbindingen zijn getroffen.

Voor redundantie is het niet voldoende om twee logische verbindingen te zien. Controleer of ze daadwerkelijk via afzonderlijke poorten, glasvezelkabels en – voor zover voorzien – afzonderlijke patchpaden lopen en of alarmregels een uitval tijdig melden. Eisen aan fysieke veerkracht en de werking van het datacenter horen thuis in de totale planning; hierover wordt in het artikel uitgelegd Criteria voor de locatie, beveiliging en schaalbaarheid van een datacenter aanvullende randvoorwaarden.

100G-storingen systematisch opsporen

Bij een defecte of onstabiele 100G-verbinding is een vaste testvolgorde efficiënter dan het onmiddellijk vervangen van meerdere componenten. Controleer eerst voor beide uiteinden de goedgekeurde combinatie van switch of NIC, transceiver, kabel en PHY, evenals de verwachte FEC-modus. Elektrische interfaces met 100 Gbit/s per lane zijn gestandaardiseerd, maar dit betekent niet automatisch dat elke optische of breakout-variant door een specifiek platform wordt ondersteund.

Daarna volgt het passieve gedeelte: vezeltype, aansluitzijde, patchpad, markering en, bij parallelle optiek, met name de MPO-polariteit . Een verkeerde polariteit kan een verbinding verhinderen, terwijl een verwarring tussen OM3 en OM4 de toegestane ontwerplengte beïnvloedt. SR4 vereist multimode- en parallelle optische paden; DR1, FR1 en LR1 werken daarentegen via singlemode-duplexverbindingen. Een cassette die er uiterlijk hetzelfde uitziet of een passende connector is daarom geen bewijs dat de transmissietypes op elkaar aansluiten.

Bij verhoogde foutpercentages moet u de foutentellers aan beide kanten vergelijken en het begin ervan toeschrijven aan wijzigingen. Als de waarden slechts op één verbinding stijgen, zijn de optische componenten, de aansluitvlakken, het patchtraject en de poort voor de hand liggende controlepunten. Als er fouten optreden bij meerdere verbindingen van hetzelfde type, moeten gemeenschappelijke factoren zoals FEC-instellingen, optische codering of een platformprofiel worden onderzocht. Gedocumenteerde specificaties van de transceivers helpen om het bereik en de vezelvereisten af te stemmen op de opbouw.

Onverwacht lage gegevensdoorvoersnelheden in de toepassing onderzoek je pas nadat er een stabiele fysieke verbinding tot stand is gebracht. Een afzonderlijke flow kan worden beperkt door de snelheid van het pad, de ECMP-hash-verdeling of de tegenpartij, ook al heeft de geaggregeerde fabric nog vrije capaciteit. Daarnaast beperken de PCIe-verbinding, NIC-stuurprogramma's, de CPU, pakketgroottes, protocol-overhead en opslagprestaties de doorvoer van nuttige gegevens. De 100GbE-poort is daarmee een mogelijke, maar niet automatisch de bepalende bottleneck.

RoCE en uitbreidingsbeslissing beoordelen

Bij RDMA over Converged Ethernet volstaat de poortsnelheid niet als selectiecriterium. De hier gebruikte NVIDIA-bron beschrijft uitdrukkelijk Cumulus Linux 4.0 en verwijst zelf naar recentere productdocumentatie. Ze dient daarom als historisch, productgebonden bewijs voor de besproken mechanismen. De commando's en grenswaarden zijn geen algemene, actuele handleiding voor andere platforms.

Deze documentatie maakt een onderscheid tussen RoCEv1 op de beveiligingslaag en RoCEv2 op laag 3. Voor RoCEv1 beschrijft zij Priority Flow Control (PFC). Voor RoCEv2 wordt Explicit Congestion Notification (ECN) genoemd voor end-to-end-signalering via gerouteerde netwerken en daarnaast Flow Control voor verliesarm Ethernet. Hieruit kan echter noch een actuele universele PFC-configuratie worden afgeleid, noch de overdraagbaarheid van de historische Cumulus Linux 4.0-instellingen naar andere platforms.

Controleer voor een specifieke uitbreiding de actuele documentatie van de gebruikte NIC’s, switches en softwareversies. Welke RoCE-versie is gepland, welke verkeersklassen worden gebruikt en welke congestiebeheersmechanismen worden door deze combinatie ondersteund? Bepaal bovendien hoe wachtrijbezetting, pakketverlies, ECN-markeringen en PFC-pauzes worden gemonitord. Neem geen historische drempelwaarden of algemene activeringsaanbevelingen over zonder platformspecifieke validatie.

De keuze tussen 25, 50, 100, 200 of 400 GbE hangt af van het belastingsprofiel, de hostverbinding en de benodigde reservecapaciteit in geval van een storing. De Ethernet-roadmap toont technologische ontwikkelingsrichtingen, waaronder 100G–800G-verbindingen en het opkomende 1,6 Tbit/s-Ethernet. Deze roadmap geeft echter geen uitsluitsel over een specifieke leaf-spine-architectuur, noch over de geschiktheid van een bepaalde snelheid voor elke serverklasse. Daarvoor blijft een afzonderlijke capaciteitsplanning noodzakelijk.

Maak ten slotte een onderscheid tussen gepubliceerde standaarden, lopende projecten en daadwerkelijk beschikbare productfuncties. IEEE voert P802.3dj op dit moment op als een actief project voor 200, 400 en 800 Gbit/s, evenals 1,6 Tbit/s. Dit houdt geen garantie in voor bestaande hardware. Controleer voor elk uitbreidingstraject de poorttoewijzingen, optische componenten, glasvezeltrajecten, stroomverbruik en exploitatiekosten aan de hand van de daadwerkelijk geselecteerde producten.