Reti da 100 Gbit nei centri di calcolo: tecnologia, componenti ottici e progettazione

Comprendere appieno il 100GbE

Il termine 100GbE indica innanzitutto una velocità nominale della porta Ethernet pari a 100 Gbit/s a livello MAC. Ciò non implica né un tipo specifico di connettore, né un tipo prestabilito di fibra, né una ripartizione delle lane, né una distanza di trasmissione definita. La roadmap Ethernet colloca il 100GbE accanto a velocità di trasmissione di 25, 50, 200, 400 e superiori; la scelta del livello più adatto dipende dal profilo di traffico, dalla densità delle porte e dall’obiettivo di espansione.

La capacità nominale della porta non è da equiparare alla velocità effettiva di un’applicazione. L’overhead dei protocolli Ethernet, IP e di trasporto riduce il carico utile disponibile; inoltre, possono costituire un limite la CPU, i driver della scheda di rete, l’interfaccia PCIe, le prestazioni della memoria o dello storage, nonché il terminale remoto. Anche i flussi di dati concorrenti condividono la capacità di una porta. 100 Gbit/s rappresentano quindi una caratteristica dell'interfaccia e non una garanzia del trasferimento dei dati di una singola applicazione.

Un server dotato di una scheda di rete 100GbE, ad esempio, può rimanere ben al di sotto della velocità della porta durante la copia di grandi quantità di dati, se la sorgente o la destinazione non leggono o scrivono abbastanza velocemente. Al contrario, un uplink da 100 G aumenta la capacità complessiva di un pod di server senza accelerare automaticamente ogni singolo host a 100 Gbit/s. Per la pianificazione è quindi necessario considerare nel loro insieme i sistemi finali, i percorsi dei dati e i picchi di carico.

Il 100GbE non è né troppo piccolo né troppo grande in termini assoluti. Il 25GbE può essere sufficiente per i collegamenti generici ai server, mentre il 50GbE rappresenta una fase intermedia per una maggiore densità di host. A seconda del progetto, il 100GbE è adatto per server, sistemi di archiviazione, uplink leaf o livelli spine di dimensioni ridotte. In caso di carichi di lavoro fortemente aggregati, il 200 o il 400GbE possono fornire la densità di porte necessaria. I documenti IEEE pubblicati coprono diverse velocità Ethernet e varianti PHY; tuttavia, la velocità da sola non descrive un’architettura di rete completa.

Lane, PHY e correzione degli errori

Per prendere decisioni fondate, è necessario esaminare separatamente tre livelli: i lane elettrici all’interno del dispositivo, il PHY ottico sulla linea e l’infrastruttura passiva costituita da cavi, fibre e pannelli di permutazione. Una porta 100GbE può utilizzare più lane internamente o sull’interfaccia elettrica dell’host. Gli approcci più datati, ancora diffusi, raggruppano spesso quattro lane da 25 Gbit/s; le interfacce più recenti specificano lane elettriche fino a 100 Gbit/s.

Il numero di lane non indica ancora in che modo un modulo ottico effettui la trasmissione. Un PHY può utilizzare percorsi ottici paralleli oppure trasportare 100 Gbit/s su una singola lunghezza d’onda. Da ciò derivano requisiti diversi in termini di tipo di fibra, connettori e percorsi di collegamento. Una velocità di trasmissione adeguata e lo stesso fattore di forma non sono quindi sufficienti a garantire la compatibilità: lo switch, la scheda di rete e il ricetrasmettitore devono supportare la specifica variante del PHY.

Il sito Correzione degli errori La correzione degli errori in avanti (FEC) è una caratteristica che deve essere verificata sulla base della documentazione relativa al PHY e alla piattaforma al momento della scelta e della messa in servizio di una specifica connessione a 100G. Non è possibile dedurre un'impostazione FEC universalmente valida solo dalla velocità della porta o dal fattore di forma del modulo. Sono determinanti le specifiche e le modalità operative supportate dai dispositivi e dai ricetrasmettitori su entrambe le estremità.

Il fattore di forma QSFP28 descrive principalmente la struttura fisica e la famiglia di interfacce elettriche, ma non garantisce l’intercambiabilità universale delle ottiche o dei cavi breakout. Un cavo breakout presuppone che la modalità della porta, la ripartizione delle lane, il profilo del terminale remoto e il cablaggio siano predisposti a tale scopo. Prima dell’acquisto e della migrazione è quindi necessario verificare in modo vincolante le approvazioni dei rispettivi produttori di switch e schede di rete (NIC) relative a modulo, cavo, PHY, FEC e modalità breakout. Lo standard IEEE 802.3ck tratta le interfacce elettriche fino a 100 Gbit/s per lane, ma non sostituisce tale verifica della piattaforma.

100G nella rete Leaf-Spine

In un percorso Rete Leaf-Spine I server, i sistemi di archiviazione e altri endpoint si collegano inizialmente agli switch leaf. Ogni leaf è collegato agli switch spine tramite diverse connessioni di livello 3 equivalenti. Il traffico dati tra due server situati in aree leaf diverse passa quindi dal leaf di origine al leaf di destinazione attraverso uno switch spine, senza dover attraversare una rete di livello 2 centrale.

Questa struttura è progettata per il traffico est-ovest, ovvero la comunicazione all’interno del data center tra applicazioni, database, sistemi di archiviazione e nodi di calcolo. L’underlay di livello 3 mette a disposizione diversi percorsi equivalenti. L’ECMP (Equal-Cost Multi-Path) è in grado di distribuire i flussi di dati su questi percorsi tramite un algoritmo di hash. In questo modo è possibile sfruttare la larghezza di banda aggregata; tuttavia, la disponibilità di capacità sufficiente in caso di guasto di un uplink dipende dal dimensionamento specifico dell’infrastruttura.

Il ruolo del 100GbE dipende dal profilo delle porte. Un server di elaborazione o di archiviazione ad alta densità può richiedere una connessione 100GbE sull’host; in un altro pod, le porte da 100G aggregano diversi server da 25G come uplink leaf. Allo stesso modo, i collegamenti a 100G possono costituire il livello spine di un progetto di dimensioni più ridotte. È determinante il rapporto tra la capacità degli host collegati e la capacità degli uplink, ovvero la progettazione mirata Overbooking.

Un’elevata capacità complessiva non accelera un singolo flusso di dati a piacimento. In molte implementazioni, l’ECMP assegna un flusso a un percorso specifico; la sua velocità rimane limitata dalla larghezza di banda di tale percorso e dai sistemi terminali. Valori hash distribuiti in modo non uniforme o pochi flussi di grandi dimensioni possono quindi causare colli di bottiglia, nonostante la capacità disponibile su altri collegamenti. La pianificazione della capacità deve quindi tenere conto sia della somma di tutti i flussi, sia dei singoli flussi dominanti, sia dei casi di guasto.

Confronta componenti ottici e cavi da 100G

La scelta di una connessione a 100G non parte dal contenitore QSFP28, ma dall’intero percorso di trasmissione. Un ricetrasmettitore definisce una specifica interfaccia PHY con requisiti relativi alla fibra, ai percorsi ottici e alla portata. Lo stesso fattore di forma può quindi ospitare diverse tecnologie che non sono automaticamente compatibili tra loro, né dal punto di vista ottico né da quello elettrico.

Per brevi collegamenti paralleli si utilizza 100GBASE-SR4 Fibra multimodale e, in genere, connettori MPO-12/MTP-12. I quattro percorsi ottici di trasmissione e ricezione rendono la corretta polarità parte integrante della progettazione. L’OM3 è specificata fino a 70 m, l’OM4 fino a 100 m; i tracciati LC duplex esistenti non possono quindi essere utilizzati come tratte SR4 senza un’infrastruttura adeguata.

I moduli Juniper documentati per DR1, FR1 e LR1 utilizzano fibra monomodale e connettori LC duplex; le portate indicate sono rispettivamente di 500 m, 2 km e 10 km. Il connettore del modulo rappresenta tuttavia una caratteristica concreta del prodotto ed è conforme alla documentazione del produttore. Il PHY, il mezzo ottico, il numero di fibre e il collegamento del modulo devono essere verificati separatamente. Le superfici di contatto, gli accoppiamenti, le giunzioni e le riserve devono essere inclusi nel bilancio di attenuazione.

La sigla LR richiede particolare attenzione: LR1 e LR4 Sebbene raggiungano entrambi una distanza massima di 10 km su fibra monomodale, si tratta tuttavia di PHY diversi. LR1 funziona con un’unica lunghezza d’onda da 100 Gbit/s, mentre LR4 utilizza un diverso metodo a lunghezze d’onda multiple. La stessa infrastruttura a due fibre SMF e varianti di prodotto meccanicamente compatibili non garantiscono quindi l’interoperabilità ottica. Anche il collegamento concreto del modulo dipende dal prodotto; la variante Cisco CPAK 100GBASE LR4 documentata, ad esempio, utilizza un connettore SC duplex.

I DAC e gli AOC rappresentano una scelta a sé stante per le brevi distanze. Per i cavi in rame passivi o attivi e per i cavi ottici attivi non esiste una regola generale relativa alla portata che possa essere dedotta dal termine „100G“. Prima dell’acquisto è necessario verificare la matrice di compatibilità di entrambe le estremità della porta, nonché la lunghezza effettiva del cavo e il raggio di curvatura previsto.

Pianificazione degli uplink con calcolo della capacità

Il seguente esempio di calcolo illustrativo descrive espressamente un design a single-homing: 48 host dispongono ciascuno di una connessione 25GbE. 24 host ciascuno sono collegati esattamente a uno dei due leaf. Ne risulta una capacità di connessione degli host pari a 600 Gbit/s per ogni leaf e 1.200 Gbit/s nell’intero pod. Si tratta di un calcolo della capacità, non della velocità effettiva misurata delle applicazioni.

Ogni Leaf dispone di due uplink da 100 Gbit/s ciascuno. La capacità di uplink è quindi pari a 200 Gbit/s per ogni Leaf e a 400 Gbit/s per entrambi i Leaf. Per ogni Leaf, 600 diviso 200 corrisponde a un overbooking ipotetico di 3:1. Questo valore indica la capacità di collegamento installata; la velocità effettiva dipende inoltre dai flussi di dati, dalle controparti e dai protocolli.

In caso di guasto di un singolo uplink, sul leaf interessato rimangono 100 Gbit/s per le sue connessioni host da 600 Gbit/s. Il rapporto teorico sale in questo caso a 6:1. Il guasto di un intero leaf, in questo modello di connessione host volutamente non ridondante, rende inaccessibili i suoi 24 host. Due leaf da soli non garantiscono quindi ancora una connessione a prova di guasto per ogni server.

Un design dual-homing deve essere calcolato separatamente. Con 48 host dotati ciascuno di due porte da 25G, la capacità fisica collegata è di 2.400 Gbit/s. Il fatto che entrambe le porte trasportino traffico utile contemporaneamente o che una funga da riserva modifica le ipotesi di carico. Documentare pertanto il numero di connessioni, il modello operativo attivo, la capacità per ogni leaf e la capacità residua desiderata per ogni scenario di guasto considerato.

Anche la distribuzione del traffico rientra nella pianificazione. L’ECMP distribuisce i flussi su percorsi instradati equivalenti; l’aggregazione dei collegamenti raggruppa i collegamenti fisici in un unico collegamento logico. Entrambe le procedure devono essere valutate separatamente. Nella distribuzione basata su hash, un singolo flusso non riceve automaticamente l’intera larghezza di banda complessiva. Pianifica i flussi di dati dominanti, le finestre di backup e le riserve in aggiunta al rapporto calcolato.

Migrazione da MPO a SMF duplex

Il passaggio da un ambiente SR4 a DR1 o FR1 è un progetto infrastrutturale, non un miglioramento automatico della qualità. SR4 utilizza percorsi multimodali paralleli con MPO-12/MTP-12. DR1 e FR1, invece, utilizzano fibra monomodale duplex; il tipo di connessione del modulo è una caratteristica del prodotto. I moduli DR1 e FR1 documentati nella panoramica di Juniper dispongono di connessioni LC duplex. Le linee esistenti, i pannelli di permutazione e le riserve determinano quindi se sia più opportuno procedere con una migrazione parallela o con una transizione graduale.

In primo luogo viene determinato il fabbisogno effettivo di copertura: DR1 è previsto per 500 m, FR1 per 2 km. Se tutti i percorsi si trovano all’interno di un unico locale, un cablaggio SR4 funzionante può continuare a essere adeguato. Se i percorsi superano regolarmente i limiti dell’SR4 o se si devono collegare sezioni di edificio, l’SMF duplex con il PHY adeguato offre un quadro di progettazione diverso.

• Documentare i percorsi delle fibre esistenti, la classe delle fibre, i pannelli di permutazione e la polarità MPO per ogni collegamento.
• Stabilire la portata richiesta e il PHY adeguato; non scegliere DR1 e FR1 solo in base al tipo di connettore.
• Progettare percorsi in fibra SMF duplex, compresi i collegamenti dei moduli specifici per il prodotto, la riserva di attenuazione, le superfici di connessione e i percorsi di ridondanza.
• Valutare le future velocità di trasferimento, gli slot disponibili e la tempistica della transizione per ciascun pod.
• Verificare che switch, scheda di rete, ricetrasmettitori ed eventuali opzioni breakout siano una combinazione effettivamente autorizzata.

Il sito Polarità MPO Dovrebbe essere documentato come punto di controllo a sé stante fintantoché permangono parti del cablaggio SR4 parallelo. Un adattatore meccanicamente compatibile non risponde automaticamente a domande relative all’assegnazione dei segnali, al numero di fibre o al metodo di trasmissione consentito. Come raccomandazione di progettazione, si suggerisce quindi una chiara separazione e identificazione dei percorsi di patch: SR4 su MMF da un lato, DR1 o FR1 su SMF dall’altro.

Il Duplex-SMF può semplificare i percorsi di espansione, ma non è in generale „migliore“. I costi di ricablaggio, i tracciati disponibili, i processi operativi e lo sviluppo previsto delle porte sono fattori rilevanti tanto quanto la portata. La precedente classificazione del PON a 100 Gbit/s riguarda un approccio alla rete di accesso e non costituisce un modello di compatibilità o di architettura per Ethernet nel data center; non dovrebbe quindi essere confusa con i PHY 100GbE.Panoramica sul PON da 100 Gbit/s

Prima di procedere all’acquisto è necessario verificare la combinazione specifica di switch, scheda di rete e ricetrasmettitore su entrambi i lati. In tale contesto vengono controllati il PHY supportato, i parametri FEC, la codifica ottica, i connettori dei moduli e i cavi ammessi. Solo questa approvazione consente di collegare il cablaggio passivo previsto a un tratto attivo effettivamente supportato; il solo formato adeguato dell’alloggiamento non è sufficiente.

Collaudo, telemetria e funzionamento

Il collaudo di un collegamento 100GbE inizia con un inventario dettagliato e tracciabile, non con una singola operazione di collegamento. Documentare per ogni collegamento l’intero percorso della fibra, compresi tracciato, pannelli di permutazione, connettori e denominazioni delle porte. Indicare il tipo di modulo ottico utilizzato, la classe della fibra, il tipo di connettore, la portata nominale e l’impostazione FEC selezionata su entrambi i lati. Le schede tecniche dei produttori distinguono i moduli ottici 100G in base alla portata, al tipo di fibra e al metodo di trasmissione; queste specifiche di prodotto documentate devono corrispondere alla tratta effettiva.

• Controllare lo stato del collegamento e l'assegnazione della controparte su entrambe le estremità.
• Verificare la corrispondenza tra il tipo di ottica, il numero di serie, il tipo di fibra e il percorso di collegamento documentato.
• Registrare lo stato FEC e il contatore di errori prima del trasferimento e dopo un periodo di monitoraggio definito.
• Tracciare in modo mirato i percorsi di ridondanza e verificare il relativo sistema di allarme.
• Registrare il contatto per le escalation, le ottiche di ricambio e l'attuale autorizzazione di compatibilità per la rispettiva porta.

Quella indicata nella documentazione ottica Raggiungere descrive la rispettiva variante del modulo e il mezzo di trasmissione previsto; non costituisce un’approvazione generica di ogni tratta installata. Per il collaudo si raccomanda pertanto di redigere anche un bilancio di attenuazione specifico per il progetto. In esso vengono registrati i punti di patch, i connettori, le giunzioni effettivamente presenti e le riserve previste. Superfici di connessione pulite e una documentazione completa del percorso sono anch’esse requisiti di collaudo operativi e dovrebbero essere espressamente specificati nel piano di collaudo.

Durante il funzionamento, i sistemi di monitoraggio dovrebbero rilevare i link-flap, gli errori corretti e non correggibili tramite FEC, gli errori di simbolo o PCS, i valori diagnostici ottici e il carico per ciascun percorso, nella misura in cui la piattaforma e i ricetrasmettitori forniscano tali valori. Un singolo valore di conteggio non costituisce di per sé una diagnosi: sono determinanti l’andamento, la direzione e il riferimento temporale alle modifiche apportate al patch, all’ottica o alla configurazione. In caso di anomalie, il team operativo verifica innanzitutto se sono interessati solo un percorso, un dispositivo o più connessioni dello stesso tipo.

Per garantire la ridondanza non è sufficiente verificare la presenza di due collegamenti logici. Verifica se questi passano effettivamente attraverso porte e fibre separate e, ove previsto, percorsi di patch separati, e se le regole di allarme segnalano tempestivamente un'eventuale perdita. I requisiti relativi alla resilienza fisica e al funzionamento del data center devono essere inclusi nella pianificazione complessiva; l'articolo fornisce ulteriori spiegazioni al riguardo. Criteri relativi all'ubicazione, alla sicurezza e alla scalabilità di un centro dati ulteriori condizioni quadro.

Individuare sistematicamente i guasti da 100G

In caso di collegamento 100G guasto o instabile, seguire una sequenza di verifica prestabilita è più efficiente rispetto alla sostituzione immediata di più componenti. Verificare innanzitutto, per entrambe le estremità, la combinazione approvata di switch o scheda di rete (NIC), ricetrasmettitore, cavo e PHY, nonché la modalità di funzionamento FEC prevista. Le interfacce elettriche da 100 Gbit/s per lane sono standardizzate, ma ciò non implica il supporto automatico di ogni variante ottica o breakout da parte di una piattaforma specifica.

Segue poi la sezione passiva: tipo di fibra, interfaccia di connessione, percorso del patch, etichettatura e, nel caso di ottiche parallele, in particolare la Polarità MPO . Una polarità invertita può impedire il collegamento, mentre una confusione tra OM3 e OM4 compromette la lunghezza di progetto consentita. SR4 richiede percorsi ottici multimodali e paralleli; DR1, FR1 e LR1, invece, funzionano su tratte duplex monomodali. Una cassetta dall’aspetto simile o un connettore compatibile non garantiscono quindi che il tipo di trasmissione sia compatibile.

In caso di tassi di errore elevati, confrontare i contatori di errori su entrambi i lati e attribuire la loro comparsa alle modifiche apportate. Se i valori aumentano solo su un collegamento, i punti di controllo più ovvi sono l’ottica, le superfici di connessione, il percorso di patch e la porta. Se gli errori si verificano su più collegamenti dello stesso tipo, è necessario esaminare fattori comuni quali le impostazioni FEC, la codifica ottica o un profilo di piattaforma. Le specifiche documentate dei ricetrasmettitori aiutano a confrontare la portata e i requisiti della fibra con la configurazione.

È opportuno analizzare le velocità di trasmissione dei dati delle applicazioni inaspettatamente basse solo dopo aver verificato la stabilità del collegamento fisico. Un singolo flusso può essere limitato dalla velocità del percorso, dalla distribuzione dell’hash ECMP o dalla controparte, anche se la fabric aggregata dispone di capacità libera. Inoltre, la connessione PCIe, i driver NIC, la CPU, le dimensioni dei pacchetti, l’overhead del protocollo e le prestazioni dello storage limitano il throughput dei dati utili. La porta 100GbE rappresenta quindi un possibile collo di bottiglia, ma non necessariamente quello determinante.

Valutare il RoCE e la decisione di espansione

Nel caso dell’RDMA su Converged Ethernet, la velocità della porta non è un criterio di selezione sufficiente. La fonte NVIDIA qui utilizzata descrive espressamente Cumulus Linux 4.0 e rimanda essa stessa a una documentazione di prodotto più recente. Essa funge quindi da prova storica e specifica del prodotto per i meccanismi trattati. I suoi comandi e valori limite non costituiscono una guida operativa generale e aggiornata per altre piattaforme.

Questa documentazione distingue RoCEv1 a livello di sicurezza da RoCEv2 a livello di Layer 3. Per RoCEv1 descrive il Priority Flow Control (PFC). Per RoCEv2, menziona l’Explicit Congestion Notification (ECN) per la segnalazione end-to-end su reti instradate e, inoltre, il controllo di flusso per Ethernet a bassa perdita. Da ciò, tuttavia, non è possibile dedurre né una configurazione PFC universale aggiornata né la trasferibilità delle impostazioni storiche di Cumulus Linux 4.0 su altre piattaforme.

Per un ampliamento specifico, verifica la documentazione aggiornata delle schede di rete (NIC), degli switch e delle versioni software in uso. Qual è la versione RoCE prevista, quali classi di traffico vengono utilizzate e quali meccanismi di controllo della congestione sono supportati da questa combinazione? Definisci inoltre le modalità di monitoraggio dell’occupazione delle code, delle perdite di pacchetti, dei marcatori ECN e delle pause PFC. Non adottare soglie storiche o raccomandazioni di attivazione globali senza una validazione specifica per la piattaforma.

La scelta tra 25, 50, 100, 200 o 400 GbE dipende dal profilo di carico, dal collegamento all’host e dalla capacità residua necessaria in caso di guasto. La roadmap Ethernet illustra le direzioni di sviluppo tecnologico, tra cui le connessioni da 100G a 800G e l’emergente Ethernet da 1,6 Tbit/s. Tuttavia, non indica né una specifica architettura leaf-spine né l’idoneità di una determinata velocità per ogni classe di server. A tal fine rimane necessaria una pianificazione specifica della capacità.

Infine, occorre distinguere tra standard pubblicati, progetti in corso e funzionalità concrete dei prodotti effettivamente disponibili. Allo stato attuale, l’IEEE indica il P802.3dj come progetto attivo per velocità di 200, 400 e 800 Gbit/s, nonché 1,6 Tbit/s. Ciò non implica alcuna garanzia di compatibilità con l’hardware esistente. Per ogni percorso di espansione, verifica le autorizzazioni delle porte, i componenti ottici, i percorsi in fibra, il consumo energetico e i costi operativi sulla base dei prodotti effettivamente selezionati.