100-Gbit-Netzwerke im Rechenzentrum: Technik, Optiken und Planung

100GbE richtig einordnen

100GbE bezeichnet zunächst eine Ethernet-Portgeschwindigkeit von nominell 100 Gbit/s auf MAC-Ebene. Daraus folgt weder ein bestimmter Steckertyp noch eine festgelegte Faserart, Lane-Aufteilung oder Übertragungsdistanz. Die Ethernet-Roadmap ordnet 100GbE weiterhin neben 25, 50, 200, 400 und höheren Datenraten ein; welche Stufe passt, hängt vom Verkehrsprofil, der Portdichte und dem Ausbauziel ab.

Die nominelle Portkapazität ist nicht mit dem Durchsatz einer Anwendung gleichzusetzen. Ethernet-, IP- und Transportprotokoll-Overhead reduzieren die verfügbare Nutzlast; außerdem können CPU, NIC-Treiber, PCIe-Anbindung, Speicher- oder Storage-Leistung sowie die Gegenstelle begrenzen. Auch konkurrierende Datenströme teilen sich die Kapazität eines Ports. 100 Gbit/s sind daher eine Schnittstelleneigenschaft und keine Zusage für den Datentransfer einer einzelnen Anwendung.

Ein Server mit einer 100GbE-NIC kann beispielsweise beim Kopieren großer Datenmengen deutlich unter dem Porttempo bleiben, wenn Quelle oder Ziel nicht schnell genug lesen oder schreiben. Umgekehrt erhöht ein 100G-Uplink die gemeinsame Kapazität eines Server-Pods, ohne automatisch jeden einzelnen Host auf 100 Gbit/s zu beschleunigen. Für die Planung müssen deshalb Endsysteme, Datenpfade und Lastspitzen gemeinsam betrachtet werden.

100GbE ist nicht pauschal zu klein oder zu groß. 25GbE kann für allgemeine Serveranbindungen genügen, während 50GbE eine Zwischenstufe für höhere Hostdichte bildet. 100GbE eignet sich je nach Entwurf für Server, Storage, Leaf-Uplinks oder kleinere Spine-Ebenen. Bei stark aggregierten Workloads können 200 oder 400GbE die benötigte Portdichte liefern. Veröffentlichte IEEE-Arbeiten decken mehrere Ethernet-Geschwindigkeiten und PHY-Varianten ab; die Geschwindigkeit allein beschreibt jedoch keine vollständige Netzarchitektur.

Lanes, PHYs und Fehlerkorrektur

Für belastbare Entscheidungen sind drei Ebenen getrennt zu prüfen: elektrische Lanes im Gerät, der optische PHY auf der Leitung und die passive Infrastruktur aus Kabeln, Fasern und Patchfeldern. Ein 100GbE-Port kann intern oder am elektrischen Host-Interface mehrere Lanes verwenden. Ältere, weiterhin verbreitete Ansätze bündeln häufig vier 25-Gbit/s-Lanes; neuere Schnittstellen spezifizieren elektrische Lanes bis 100 Gbit/s.

Die Lane-Zahl sagt noch nicht, wie ein optisches Modul überträgt. Ein PHY kann parallele optische Pfade nutzen oder 100 Gbit/s über eine Wellenlänge transportieren. Daraus ergeben sich unterschiedliche Anforderungen an Faserart, Steckverbinder und Patchwege. Eine passende Datenrate und derselbe Formfaktor reichen somit nicht als Kompatibilitätsnachweis aus: Switch, Netzwerkkarte und Transceiver müssen die konkrete PHY-Variante unterstützen.

Die Korrektion af fejl Forward Error Correction (FEC) ist ein Merkmal, das bei der Auswahl und Inbetriebnahme einer konkreten 100G-Verbindung anhand der PHY- und Plattformdokumentation geprüft werden muss. Aus der Portgeschwindigkeit oder dem Modulformfaktor allein lässt sich keine allgemeingültige FEC-Einstellung ableiten. Maßgeblich sind die Vorgaben und unterstützten Betriebsarten der Geräte und Transceiver an beiden Enden.

Der QSFP28-Formfaktor beschreibt vor allem Bauform und elektrische Schnittstellenfamilie, aber keine universelle Austauschbarkeit von Optiken oder Breakouts. Ein Breakout-Kabel setzt voraus, dass der Portmodus, die Lane-Aufteilung, das Gegenstellenprofil und die Verkabelung dafür vorgesehen sind. Vor Beschaffung und Migration sind daher die Freigaben der jeweiligen Switch- und NIC-Hersteller für Modul, Kabel, PHY, FEC und Breakout-Modus verbindlich abzugleichen. IEEE 802.3ck behandelt elektrische Schnittstellen bis 100 Gbit/s pro Lane, ersetzt aber keine solche Plattformprüfung.

100G im Leaf-Spine-Netz

In einem gerouteten Leaf-Spine-Netz verbinden sich Server, Storage-Systeme und andere Endpunkte zunächst mit Leaf-Switches. Jedes Leaf ist über mehrere gleichwertige Layer-3-Verbindungen an Spine-Switches angebunden. Der Datenverkehr zwischen zwei Servern in unterschiedlichen Leaf-Bereichen läuft damit vom Quell-Leaf über einen Spine zum Ziel-Leaf, statt ein zentrales Layer-2-Netz durchqueren zu müssen.

Diese Struktur ist auf Ost-West-Verkehr ausgelegt, also Kommunikation innerhalb des Rechenzentrums zwischen Anwendungen, Datenbanken, Storage und Compute-Knoten. Das Layer-3-Underlay stellt mehrere gleichwertige Pfade bereit. ECMP, Equal-Cost Multi-Path, kann Datenflüsse anhand eines Hash-Verfahrens auf diese Wege verteilen. So lässt sich aggregierte Bandbreite nutzen; ob nach einem Uplink-Ausfall noch ausreichend Kapazität bleibt, ist jedoch eine Frage der konkreten Dimensionierung.

Die Rolle von 100GbE folgt dabei dem Portprofil. Ein dicht gepackter Compute- oder Storage-Server kann 100GbE am Host benötigen; in einem anderen Pod aggregieren 100G-Ports mehrere 25G-Server als Leaf-Uplinks. Ebenso können 100G-Links die Spine-Ebene eines kleineren Designs bilden. Entscheidend ist das Verhältnis aus angeschlossener Hostkapazität und Uplink-Kapazität, also die bewusst geplante Overbooking.

Hohe Gesamtkapazität beschleunigt einen einzelnen Datenfluss nicht beliebig. ECMP ordnet einen Flow in vielen Implementierungen einem bestimmten Pfad zu; dessen Geschwindigkeit bleibt durch die Bandbreite dieses Pfads und durch Endsysteme begrenzt. Ungleich verteilte Hash-Werte oder wenige sehr große Flows können daher trotz freier Kapazität auf anderen Links zu Engpässen führen. Kapazitätsplanung muss folglich sowohl die Summe aller Flows als auch dominante Einzelströme und Ausfallfälle berücksichtigen.

100G-Optiken und Kabel vergleichen

Die Auswahl einer 100G-Verbindung beginnt nicht beim QSFP28-Gehäuse, sondern beim vollständigen Übertragungsweg. Ein Transceiver definiert eine bestimmte PHY mit Anforderungen an Faser, optische Pfade und Reichweite. Derselbe Formfaktor kann daher unterschiedliche Verfahren aufnehmen, die weder optisch noch elektrisch automatisch zueinander passen.

Für kurze parallele Verbindungen nutzt 100GBASE-SR4 Multimode-Faser und typischerweise MPO-12/MTP-12-Steckverbinder. Die vier optischen Sende- und Empfangspfade machen die korrekte Polarität zum Teil der Planung. OM3 ist bis 70 m, OM4 bis 100 m spezifiziert; vorhandene Duplex-LC-Trassen lassen sich dadurch nicht ohne passende Infrastruktur als SR4-Strecke verwenden.

Die dokumentierten Juniper-Module für DR1, FR1 und LR1 verwenden Singlemode-Faser und Duplex-LC; die genannten Reichweiten betragen 500 m, 2 km und 10 km. Der Modulstecker ist dennoch eine konkrete Produkteigenschaft und folgt der Herstellerdokumentation. PHY, optisches Medium, Faseranzahl und Modulanschluss sind getrennt zu prüfen. Steckflächen, Kupplungen, Spleiße und Reserven gehören zusätzlich in die Dämpfungsbilanz.

Besondere Sorgfalt verlangt die Bezeichnung LR: LR1 und LR4 erreichen zwar jeweils bis zu 10 km über Singlemode-Faser, sind jedoch verschiedene PHYs. LR1 arbeitet mit einer einzelnen 100-Gbit/s-Wellenlänge, während LR4 ein anderes Mehrwellenlängenverfahren nutzt. Dieselbe Zweifaser-SMF-Infrastruktur und mechanisch passende Produktvarianten beweisen deshalb keine optische Interoperabilität. Auch der konkrete Modulanschluss bleibt produktabhängig; die dokumentierte Cisco-CPAK-100GBASE-LR4-Variante verwendet beispielsweise Duplex-SC.

DACs und AOCs sind eine gesonderte Entscheidung für kurze Strecken. Passive oder aktive Kupferkabel und aktive optische Kabel haben keine allgemeingültige Reichweitenregel, die sich aus „100G“ ableiten ließe. Vor der Beschaffung müssen die Kompatibilitätsmatrix beider Portseiten sowie die konkrete Kabellänge und der vorgesehene Biegeradius geprüft werden.

Uplinks mit Kapazitätsrechnung planen

Das folgende illustrative Rechenbeispiel beschreibt ausdrücklich ein Single-Homing-Design: 48 Hosts besitzen jeweils insgesamt einen 25GbE-Anschluss. Je 24 Hosts sind mit genau einem von zwei Leafs verbunden. Damit ergeben sich 600 Gbit/s angeschlossene Hostkapazität je Leaf und 1.200 Gbit/s im gesamten Pod. Es handelt sich um eine Kapazitätsrechnung, nicht um gemessenen Anwendungsdurchsatz.

Jedes Leaf erhält zwei Uplinks mit je 100 Gbit/s. Die Uplink-Kapazität beträgt somit 200 Gbit/s je Leaf und 400 Gbit/s über beide Leafs. Für jedes Leaf ergibt 600 geteilt durch 200 eine angenommene Überbuchung von 3:1. Diese Summe beschreibt installierte Linkkapazität; nutzbarer Durchsatz hängt zusätzlich von Datenströmen, Gegenstellen und Protokollen ab.

Fällt ein einzelner Uplink aus, verbleiben am betroffenen Leaf 100 Gbit/s für seine 600 Gbit/s Hostanschlüsse. Das rechnerische Verhältnis steigt dort auf 6:1. Der Ausfall eines ganzen Leafs macht in diesem bewusst nicht redundanten Host-Anschlussmodell dessen 24 Hosts unerreichbar. Zwei Leafs allein schaffen deshalb noch keinen ausfallsicheren Anschluss jedes Servers.

Ein Dual-Homing-Design muss separat gerechnet werden. Bei 48 Hosts mit jeweils zwei 25G-Anschlüssen sind physisch 2.400 Gbit/s angeschlossen. Ob beide Anschlüsse gleichzeitig Nutzverkehr führen oder einer als Reserve dient, verändert die Lastannahmen. Dokumentiere daher Anschlusszahl, aktives Betriebsmodell, Kapazität je Leaf und gewünschte Restkapazität für jeden betrachteten Ausfallfall.

Auch die Verteilung des Verkehrs gehört zur Planung. ECMP verteilt Flows über gleichwertige geroutete Pfade; Link Aggregation bündelt physische Links zu einer logischen Verbindung. Beide Verfahren sind getrennt zu bewerten. Bei Hash-basierter Verteilung erhält ein einzelner Flow nicht automatisch die gesamte Summenbandbreite. Plane dominante Datenströme, Backup-Fenster und Reserven zusätzlich zum rechnerischen Verhältnis.

Migration von MPO auf Duplex-SMF

Der Wechsel von einer SR4-Umgebung auf DR1 oder FR1 ist ein Infrastrukturprojekt, keine automatische Qualitätssteigerung. SR4 nutzt parallele Multimode-Pfade mit MPO-12/MTP-12. DR1 und FR1 verwenden dagegen Duplex-Singlemode-Faser; der Anschluss des Moduls ist eine Produkteigenschaft. Die in der Juniper-Übersicht dokumentierten DR1- und FR1-Module besitzen Duplex-LC-Anschlüsse. Vorhandene Trassen, Patchfelder und Reserven entscheiden deshalb darüber, ob eine parallele Migration oder eine schrittweise Umstellung sinnvoller ist.

Zunächst wird der reale Reichweitenbedarf erfasst: DR1 ist für 500 m vorgesehen, FR1 für 2 km. Liegen alle Wege innerhalb eines Raums, kann eine funktionierende SR4-Verkabelung weiter angemessen sein. Überschreiten Wege regelmäßig die SR4-Grenzen oder sollen Gebäudeabschnitte verbunden werden, schafft Duplex-SMF mit der passenden PHY einen anderen Planungsrahmen.

• Bestehende Faserwege, Faserklasse, Patchfelder und MPO-Polarität pro Verbindung dokumentieren.
• Benötigte Reichweite und die dafür passende PHY festlegen; DR1 und FR1 nicht nur nach dem Steckertyp auswählen.
• Duplex-SMF-Faserwege einschließlich produktspezifischer Modulanschlüsse, Dämpfungsreserve, Steckflächen und Redundanzrouten planen.
• Künftige Portgeschwindigkeiten, verfügbare Einschübe und den Zeitpunkt der Umstellung je Pod bewerten.
• Switch, NIC, Transceiver und gegebenenfalls Breakout-Optionen als konkret freigegebene Kombination prüfen.

Die MPO-Polarität sollte als eigener Prüfpunkt dokumentiert werden, solange Teile der parallelen SR4-Verkabelung erhalten bleiben. Ein mechanisch passender Adapter beantwortet nicht automatisch Fragen nach Signalzuordnung, Faseranzahl oder zulässigem Übertragungsverfahren. Als Planungsempfehlung bietet sich daher eine klare Trennung und Kennzeichnung der Patchwege an: SR4 über MMF einerseits, DR1 oder FR1 über SMF andererseits.

Duplex-SMF kann Ausbaupfade vereinfachen, ist aber nicht pauschal „besser“. Kosten für Neuverkabelung, verfügbare Trassen, Betriebsabläufe und die erwartete Portentwicklung sind ebenso relevant wie Reichweite. Die frühere Einordnung von 100-Gbit/s-PON betrifft einen Zugangsnetzansatz und ist keine Kompatibilitäts- oder Architekturvorlage für Ethernet im Rechenzentrum; sie sollte deshalb nicht mit 100GbE-PHYs verwechselt werden.100-Gbit/s-PON im Überblick

Verbindlich vor einer Beschaffung ist die Prüfung der konkreten Kombination aus Switch, Netzwerkkarte und Transceiver auf beiden Seiten. Dabei werden unterstützte PHY, FEC-Vorgaben, Optik-Codierung, Modulanschlüsse und zulässige Kabel geprüft. Erst diese Freigabe verbindet die geplante passive Verkabelung mit einer tatsächlich unterstützten aktiven Strecke; ein passendes Gehäuseformat allein reicht nicht aus.

Abnahme, Telemetrie und Betrieb

Die Abnahme eines 100GbE-Links beginnt mit einer nachvollziehbaren Bestandsaufnahme, nicht mit einem einzelnen Link-up-Ereignis. Dokumentiere pro Verbindung den vollständigen Faserweg einschließlich Trasse, Patchfelder, Kupplungen und Portbezeichnungen. Ergänze eingesetzten Optiktyp, Faserklasse, Steckertyp, Sollreichweite sowie die auf beiden Seiten gewählte FEC-Einstellung. Herstellerübersichten unterscheiden 100G-Optiken nach Reichweite, Faser und Übertragungsverfahren; diese belegten Produktspezifikationen müssen zur realen Strecke passen.

• Link-Status und Gegenstellenzuordnung an beiden Enden kontrollieren.
• Optiktyp, Seriennummer, Faserart und dokumentierten Patchweg abgleichen.
• FEC-Status sowie Fehlerzähler vor Übergabe und nach einer definierten Beobachtungszeit erfassen.
• Redundanzpfade gezielt nachvollziehen und die zugehörige Alarmierung prüfen.
• Eskalationskontakt, Ersatzoptik und aktuelle Kompatibilitätsfreigabe für den jeweiligen Port hinterlegen.

Die in der Optikdokumentation angegebene Rækkevidde beschreibt die jeweilige Modulvariante und ihr vorgesehenes Übertragungsmedium; sie ist keine pauschale Freigabe jeder installierten Strecke. Für die Abnahme empfiehlt sich deshalb zusätzlich eine projektspezifische Dämpfungsbilanz. Darin werden die tatsächlich vorhandenen Patchpunkte, Kupplungen, Spleiße und vorgesehenen Reserven erfasst. Saubere Steckflächen und eine lückenlose Wegdokumentation sind ebenfalls betriebliche Prüfanforderungen und sollten im Abnahmeplan ausdrücklich festgelegt werden.

Im Betrieb sollten Überwachungssysteme Link-Flaps, FEC-korrigierte und nicht korrigierbare Fehler, Symbol- oder PCS-Fehler, optische Diagnosewerte sowie die Auslastung je Pfad erfassen, soweit Plattform und Transceiver diese Werte bereitstellen. Ein einzelner Zählerwert ist noch keine Diagnose: Entscheidend sind Trend, Richtung und zeitlicher Bezug zu Änderungen an Patchung, Optik oder Konfiguration. Bei Auffälligkeiten klärt das Betriebsteam zuerst, ob nur ein Pfad, ein Gerät oder mehrere gleichartige Verbindungen betroffen sind.

Für Redundanz genügt es nicht, zwei logische Links zu sehen. Prüfe, ob sie tatsächlich über getrennte Ports, Fasern und – soweit vorgesehen – getrennte Patchwege führen und ob Alarmregeln einen Verlust rechtzeitig melden. Anforderungen an physische Resilienz und den Rechenzentrumsbetrieb gehören in die Gesamtplanung; dazu erläutert der Beitrag Kriterien für Standort, Sicherheit und Skalierbarkeit eines Rechenzentrums weiterführende Rahmenbedingungen.

100G-Störungen systematisch eingrenzen

Bei einem ausgefallenen oder instabilen 100G-Link ist eine feste Prüfungsreihenfolge effizienter als der sofortige Austausch mehrerer Komponenten. Prüfe zunächst für beide Enden die freigegebene Kombination aus Switch oder NIC, Transceiver, Kabel und PHY sowie die erwartete FEC-Betriebsart. Elektrische Schnittstellen mit 100 Gbit/s pro Lane sind standardisiert, daraus folgt jedoch keine automatische Unterstützung jeder Optik- oder Breakout-Variante durch eine konkrete Plattform.

Danach folgt die passive Strecke: Faserart, Steckgesicht, Patchweg, Beschriftung und bei Paralleloptik insbesondere die MPO-Polarität . Vertauschte Polarität kann einen Link verhindern, während eine Verwechslung von OM3 und OM4 die zulässige Planungslänge beeinträchtigt. SR4 setzt Multimode- und parallele optische Pfade voraus; DR1, FR1 und LR1 arbeiten dagegen über Singlemode-Duplexstrecken. Eine äußerlich ähnliche Kassette oder ein passender Steckverbinder beweist deshalb nicht, dass die Übertragungsart zusammenpasst.

Bei erhöhten Fehlerraten vergleiche Fehlerzähler auf beiden Seiten und ordne ihren Beginn Änderungen zu. Steigen Werte nur an einem Link, sind Optik, Steckflächen, Patchstrecke und Port naheliegende Prüfpunkte. Treten Fehler an mehreren Verbindungen desselben Typs auf, müssen gemeinsame Faktoren wie FEC-Vorgabe, Optik-Codierung oder ein Plattformprofil untersucht werden. Dokumentierte Transceiver-Spezifikationen helfen, Reichweite und Faseranforderungen gegen den Aufbau abzugleichen.

Unerwartet geringe Anwendungsdatenraten untersuchst du erst nach einem stabilen physischen Link. Ein einzelner Flow kann durch seine Pfadgeschwindigkeit, ECMP-Hash-Verteilung oder die Gegenstelle begrenzt sein, obwohl die aggregierte Fabric freie Kapazität hat. Zusätzlich begrenzen PCIe-Anbindung, NIC-Treiber, CPU, Paketgrößen, Protokolloverhead und Storage-Leistung den Nutzdatendurchsatz. Der 100GbE-Port ist damit ein möglicher, aber nicht automatisch der bestimmende Engpass.

RoCE und Ausbauentscheidung bewerten

Bei RDMA over Converged Ethernet genügt die Portgeschwindigkeit als Auswahlkriterium nicht. Die hier verwendete NVIDIA-Quelle beschreibt ausdrücklich Cumulus Linux 4.0 und verweist selbst auf neuere Produktdokumentation. Sie dient daher als historischer, produktgebundener Beleg für die behandelten Mechanismen. Ihre Befehle und Grenzwerte sind kein allgemeiner aktueller Betriebsleitfaden für andere Plattformen.

Diese Dokumentation trennt RoCEv1 auf der Sicherungsschicht von RoCEv2 über Layer 3. Für RoCEv1 beschreibt sie Priority Flow Control (PFC). Für RoCEv2 nennt sie Explicit Congestion Notification (ECN) zur Ende-zu-Ende-Signalisierung über geroutete Netze und zusätzlich Flow Control für verlustarmes Ethernet. Daraus lässt sich jedoch weder eine aktuelle universelle PFC-Konfiguration noch die Übertragbarkeit der historischen Cumulus-Linux-4.0-Einstellungen auf andere Plattformen ableiten.

Prüfe für einen konkreten Ausbau die aktuelle Dokumentation der eingesetzten NICs, Switches und Softwarestände. Welche RoCE-Version ist vorgesehen, welche Verkehrsklassen werden verwendet und welche Staukontrollmechanismen unterstützt diese Kombination? Lege außerdem fest, wie Queue-Belegung, Paketverluste, ECN-Markierungen und PFC-Pausen beobachtet werden. Übernimm keine historischen Schwellwerte oder globalen Aktivierungsempfehlungen ohne plattformspezifische Validierung.

Die Wahl zwischen 25, 50, 100, 200 oder 400GbE folgt dem Lastprofil, der Hostanbindung und der benötigten Restkapazität im Ausfallfall. Die Ethernet-Roadmap zeigt technologische Entwicklungsrichtungen, darunter 100G–800G-Verbindungen und aufkommendes 1,6-Tbit/s-Ethernet. Sie belegt jedoch weder eine bestimmte Leaf-Spine-Architektur noch die Eignung einer Geschwindigkeit für jede Serverklasse. Dafür bleibt eine eigene Kapazitätsplanung erforderlich.

Trenne schließlich veröffentlichte Standards, laufende Projekte und konkret verfügbare Produktfunktionen. IEEE führt P802.3dj am betrachteten Stand als aktives Projekt für 200, 400 und 800 Gbit/s sowie 1,6 Tbit/s. Daraus entsteht keine Zusage für vorhandene Hardware. Prüfe für jeden Ausbaupfad Portfreigaben, Optiken, Faserwege, Leistungsaufnahme und Betriebsaufwand anhand der tatsächlich ausgewählten Produkte.