Sieci 100 Gbit w centrum danych: technologia, elementy optyczne i projektowanie

Jak właściwie ocenić technologię 100GbE

Termin „100GbE” odnosi się przede wszystkim do nominalnej prędkości portu Ethernet wynoszącej 100 Gbit/s na poziomie MAC. Nie wiąże się to jednak ani z konkretnym typem złącza, ani z określonym rodzajem światłowodu, podziałem na pasma (lanes) czy zasięgiem transmisji. W planie rozwoju sieci Ethernet 100GbE nadal plasuje się obok prędkości transmisji danych wynoszących 25, 50, 200, 400 i wyższych; wybór odpowiedniego poziomu zależy od profilu ruchu, gęstości portów oraz celów rozbudowy.

Nominalną przepustowość portu nie należy utożsamiać z przepustowością aplikacji. Obciążenie związane z protokołami Ethernet, IP i protokołami transportowymi zmniejsza dostępną przepustowość użytkową; ponadto ograniczeniami mogą być procesor, sterowniki karty sieciowej, złącze PCIe, wydajność pamięci lub pamięci masowej, a także strona przeciwna. Również konkurujące ze sobą strumienie danych dzielą między sobą przepustowość portu. 100 Gbit/s są zatem właściwością interfejsu, a nie gwarancją transferu danych w ramach pojedynczej aplikacji.

Na przykład serwer wyposażony w kartę sieciową 100GbE może podczas kopiowania dużych ilości danych znacznie nie wykorzystywać pełnej prędkości portu, jeśli źródło lub miejsce docelowe nie odczytują lub nie zapisują danych wystarczająco szybko. Z drugiej strony łącze uplink 100G zwiększa łączną przepustowość modułu serwerowego, nie przyspieszając automatycznie każdego pojedynczego hosta do 100 Gbit/s. Dlatego podczas planowania należy wspólnie uwzględnić systemy końcowe, ścieżki danych oraz szczytowe obciążenia.

100GbE nie jest z góry zbyt małe ani zbyt duże. 25GbE może wystarczyć do ogólnych połączeń serwerowych, podczas gdy 50GbE stanowi etap pośredni dla większej gęstości hostów. W zależności od projektu 100GbE nadaje się do serwerów, pamięci masowej, łączy typu leaf-uplink lub mniejszych warstw typu spine. W przypadku silnie zagregowanych obciążeń 200 lub 400GbE może zapewnić wymaganą gęstość portów. Opublikowane prace IEEE obejmują różne prędkości sieci Ethernet i warianty układów PHY; jednak sama prędkość nie opisuje w pełni architektury sieciowej.

Kanały, moduły PHY i korekcja błędów

Aby podjąć trafne decyzje, należy oddzielnie przeanalizować trzy poziomy: pasma elektryczne w urządzeniu, optyczny moduł PHY na linii oraz infrastrukturę pasywną składającą się z kabli, światłowodów i paneli krosowych. Port 100GbE może wykorzystywać kilka pasm wewnętrznie lub na elektrycznym interfejsie hosta. Starsze, nadal powszechnie stosowane rozwiązania często łączą cztery pasma o przepustowości 25 Gbit/s; nowsze interfejsy przewidują pasma elektryczne o przepustowości do 100 Gbit/s.

Liczba pasm nie określa jeszcze, w jaki sposób moduł optyczny realizuje transmisję. Układ PHY może wykorzystywać równoległe ścieżki optyczne lub przesyłać dane z prędkością 100 Gbit/s przy użyciu jednej długości fali. Wynikają z tego różne wymagania dotyczące rodzaju światłowodu, złączy i tras połączeń. Odpowiednia szybkość transmisji danych i ten sam format nie wystarczają zatem jako dowód kompatybilności: przełącznik, karta sieciowa i transceiver muszą obsługiwać konkretną wersję modułu PHY.

Die Korekcja błędów Korekcja błędów z wyprzedzeniem (FEC) to funkcja, którą należy sprawdzić na podstawie dokumentacji warstwy fizycznej (PHY) i platformy podczas wyboru i uruchamiania konkretnego połączenia 100G. Na podstawie samej prędkości portu lub formatu modułu nie można ustalić uniwersalnego ustawienia FEC. Decydujące znaczenie mają specyfikacje oraz obsługiwane tryby pracy urządzeń i transceiverów po obu stronach łącza.

Format QSFP28 określa przede wszystkim budowę i rodzinę interfejsów elektrycznych, ale nie gwarantuje uniwersalnej zamienności modułów optycznych ani kabli rozgałęziających. Zastosowanie kabla rozgałęziającego wymaga, aby tryb portu, podział pasm, profil strony przeciwnej oraz okablowanie były do tego przystosowane. Dlatego przed zakupem i migracją należy obowiązkowo zweryfikować zgodność modułu, kabla, układu PHY, FEC oraz trybu rozgałęźnego z wymaganiami poszczególnych producentów przełączników i kart sieciowych. Norma IEEE 802.3ck dotyczy interfejsów elektrycznych o przepustowości do 100 Gbit/s na lane, ale nie zastępuje takiej weryfikacji platformy.

100G w sieci typu leaf-spine

W sieci routowanej Sieć typu „leaf-spine” Serwery, systemy pamięci masowej i inne punkty końcowe łączą się najpierw z przełącznikami typu leaf. Każdy przełącznik typu „leaf” jest podłączony do przełączników typu „spine” za pośrednictwem kilku równoważnych połączeń warstwy 3. Ruch danych między dwoma serwerami znajdującymi się w różnych obszarach typu „leaf” przebiega zatem od przełącznika źródłowego typu „leaf” przez przełącznik typu „spine” do przełącznika docelowego typu „leaf”, zamiast przechodzić przez centralną sieć warstwy 2.

Struktura ta jest zaprojektowana z myślą o ruchu wschód-zachód, czyli komunikacji wewnątrz centrum danych między aplikacjami, bazami danych, pamięcią masową i węzłami obliczeniowymi. Warstwa podkładowa (Layer 3) zapewnia kilka równorzędnych ścieżek. ECMP (Equal-Cost Multi-Path) może rozdzielać przepływy danych na te ścieżki za pomocą algorytmu skrótu. W ten sposób można wykorzystać zagregowaną przepustowość; jednak to, czy po awarii łącza uplink pozostanie wystarczająca przepustowość, zależy od konkretnego doboru parametrów.

Rola interfejsu 100GbE wynika w tym przypadku z profilu portu. Gęsto upakowany serwer obliczeniowy lub pamięci masowej może wymagać interfejsu 100GbE na hoście; w innym podzie porty 100G agregują kilka serwerów 25G jako łącza uplink typu leaf. Podobnie łącza 100G mogą stanowić warstwę spine w mniejszej architekturze. Decydujące znaczenie ma stosunek podłączonej pojemności hostów do przepustowości łączy uplink, czyli świadomie zaplanowana Overbooking.

Wysoka łączna przepustowość nie przyspiesza dowolnie pojedynczego strumienia danych. W wielu implementacjach protokół ECMP przypisuje strumień do określonej ścieżki; jego prędkość pozostaje ograniczona przepustowością tej ścieżki oraz systemów końcowych. Nierównomiernie rozłożone wartości skrótu lub niewielka liczba bardzo dużych przepływów mogą zatem prowadzić do wąskich gardeł, mimo dostępnej przepustowości na innych łączach. Planowanie przepustowości musi zatem uwzględniać zarówno sumę wszystkich przepływów, jak i dominujące pojedyncze przepływy oraz sytuacje awaryjne.

Porównaj elementy optyczne i kable 100G

Wybór połączenia 100G nie zaczyna się od obudowy QSFP28, lecz od całej ścieżki transmisji. Transceiver określa konkretną warstwę fizyczną (PHY) wraz z wymaganiami dotyczącymi światłowodu, ścieżek optycznych i zasięgu. Ten sam format obudowy może zatem obsługiwać różne rozwiązania, które nie są automatycznie dopasowane do siebie ani pod względem optycznym, ani elektrycznym.

W przypadku krótkich połączeń równoległych stosuje się 100GBASE-SR4 Światłowód wielomodowy oraz zazwyczaj złącza typu MPO-12/MTP-12. Cztery optyczne ścieżki nadawcze i odbiorcze sprawiają, że prawidłowa polaryzacja stanowi część procesu projektowania. Specyfikacja OM3 obejmuje odległości do 70 m, a OM4 do 100 m; istniejące trasy z złączami LC typu duplex nie mogą być zatem wykorzystywane jako trasy SR4 bez odpowiedniej infrastruktury.

W dokumentacji firmy Juniper podano, że moduły DR1, FR1 i LR1 wykorzystują światłowód jednomodowy i złącze LC typu duplex; podane zasięgi wynoszą odpowiednio 500 m, 2 km i 10 km. Złącze modułu stanowi jednak konkretną cechę produktu i jest zgodne z dokumentacją producenta. Należy oddzielnie sprawdzić układ PHY, medium optyczne, liczbę włókien oraz złącze modułu. Powierzchnie styku, złącza, spawki i rezerwy należy dodatkowo uwzględnić w bilansie tłumienia.

Oznaczenie LR wymaga szczególnej staranności: LR1 i LR4 Chociaż w obu przypadkach zasięg w światłowodzie jednomodowym wynosi do 10 km, są to różne warstwy fizyczne (PHY). LR1 wykorzystuje pojedynczą długość fali o przepustowości 100 Gbit/s, podczas gdy LR4 stosuje inną metodę wielofalową. Ta sama infrastruktura dwuwłóknowa SMF oraz warianty produktów pasujące pod względem mechanicznym nie gwarantują zatem optycznej interoperacyjności. Również konkretne złącze modułu zależy od produktu; na przykład udokumentowany wariant Cisco CPAK 100GBASE LR4 wykorzystuje złącze duplex SC.

Przetworniki cyfrowo-analogowe (DAC) i aktywne kable optyczne (AOC) to osobna kwestia w przypadku krótkich odległości. W przypadku pasywnych lub aktywnych kabli miedzianych oraz aktywnych kabli optycznych nie ma uniwersalnej zasady dotyczącej zasięgu, którą można by wywnioskować na podstawie oznaczenia „100G“. Przed zakupem należy sprawdzić matrycę kompatybilności obu stron portów, a także konkretną długość kabla i przewidziany promień gięcia.

Planowanie łączy w górę z uwzględnieniem przepustowości

Poniższy przykład obliczeniowy wyraźnie ilustruje architekturę typu single-homing: 48 hostów posiada po jednym złączu 25 GbE. Po 24 hosty są połączone z dokładnie jednym z dwóch liści. Daje to łączną przepustowość podłączonych hostów wynoszącą 600 Gbit/s na liść oraz 1 200 Gbit/s w całym podzie. Jest to obliczenie przepustowości, a nie zmierzona przepustowość aplikacji.

Każdy moduł Leaf posiada dwa łącza uplink o przepustowości 100 Gbit/s każde. Przepustowość łączy uplink wynosi zatem 200 Gbit/s na jeden moduł Leaf i 400 Gbit/s dla obu modułów Leaf. Dla każdego modułu Leaf 600 podzielone przez 200 daje zakładane przepełnienie na poziomie 3:1. Suma ta opisuje zainstalowaną przepustowość łącza; rzeczywista przepustowość zależy dodatkowo od strumieni danych, stacji docelowych i protokołów.

W przypadku awarii pojedynczego łącza uplink w danym węźle typu leaf pozostaje 100 Gbit/s dla jego 600 Gbit/s połączeń z hostami. W tym przypadku stosunek ten wzrasta do 6:1. Awaria całego węzła typu „Leaf” w tym celowo nieposiadającym redundancji modelu połączeń z hostami powoduje, że 24 hosty stają się niedostępne. Dlatego też dwa węzły typu „Leaf” same w sobie nie zapewniają jeszcze niezawodnego połączenia dla każdego serwera.

Konfigurację typu dual-homing należy obliczyć oddzielnie. Przy 48 hostach, z których każdy posiada dwa porty 25G, fizyczna przepustowość wynosi 2 400 Gbit/s. To, czy oba porty jednocześnie obsługują ruch użytkowy, czy też jeden z nich służy jako rezerwa, wpływa na założenia dotyczące obciążenia. Należy zatem udokumentować liczbę połączeń, aktywny model działania, przepustowość na każdy węzeł typu „leaf” oraz pożądaną przepustowość rezerwową dla każdego rozpatrywanego scenariusza awarii.

Planowanie obejmuje również rozkład ruchu. ECMP rozdziela strumienie ruchu między równoważne trasy; agregacja łączy łączy fizyczne łącza w jedno połączenie logiczne. Obie metody należy oceniać oddzielnie. W przypadku rozkładu opartego na funkcji skrótu pojedynczy strumień ruchu nie otrzymuje automatycznie całej łącznej przepustowości. Należy zaplanować dominujące strumienie danych, okna tworzenia kopii zapasowych oraz rezerwy, wykraczające poza proporcje obliczeniowe.

Migracja z MPO na Duplex-SMF

Przejście ze środowiska SR4 na DR1 lub FR1 to projekt infrastrukturalny, a nie automatyczna poprawa jakości. SR4 wykorzystuje równoległe ścieżki wielomodowe z złączami MPO-12/MTP-12. Natomiast DR1 i FR1 wykorzystują światłowody jednomodowe typu duplex; podłączenie modułu jest cechą charakterystyczną produktu. Moduły DR1 i FR1 opisane w przeglądzie firmy Juniper posiadają złącza duplexowe typu LC. Istniejące trasy, panele krosowe i rezerwy decydują zatem o tym, czy bardziej sensowna jest migracja równoległa, czy też stopniowe przejście na nowy standard.

Najpierw określa się rzeczywiste zapotrzebowanie na zasięg: DR1 jest przeznaczony dla 500 m, a FR1 dla 2 km. Jeśli wszystkie trasy znajdują się w obrębie jednego pomieszczenia, sprawne okablowanie SR4 może nadal być odpowiednim rozwiązaniem. Jeśli trasy regularnie wykraczają poza granice SR4 lub jeśli mają zostać połączone poszczególne części budynku, kable Duplex-SMF z odpowiednim modułem PHY stwarzają inne ramy projektowe.

• Należy udokumentować istniejące trasy światłowodowe, klasę światłowodów, panele krosowe oraz polaryzację MPO dla każdego połączenia.
• Należy określił wymagany zasięg oraz odpowiednią warstwę fizyczną (PHY); nie należy wybierać DR1 i FR1 wyłącznie na podstawie typu złącza.
• Należy zaplanować trasy światłowodów typu duplex SMF, uwzględniając specyficzne dla danego produktu złącza modułowe, rezerwę tłumienia, powierzchnie wtykowe oraz trasy rezerwowe.
• Ocenić przyszłe prędkości portów, dostępne gniazda oraz termin przejścia na nowy system dla każdego modułu.
• Należy sprawdzić, czy przełącznik, karta sieciowa, transceiver oraz ewentualne opcje rozgałęźników stanowią konkretną, zatwierdzoną kombinację.

Die Polaryzacja MPO Należy to udokumentować jako odrębny punkt kontroli, dopóki zachowane są fragmenty równoległego okablowania SR4. Adapter pasujący pod względem mechanicznym nie daje automatycznie odpowiedzi na pytania dotyczące przyporządkowania sygnałów, liczby włókien czy dopuszczalnej metody transmisji. Dlatego jako zalecenie projektowe zaleca się wyraźne rozdzielenie i oznaczenie ścieżek połączeń: SR4 przez MMF z jednej strony, DR1 lub FR1 przez SMF z drugiej strony.

Technologia Duplex-SMF może ułatwić rozbudowę sieci, ale nie jest z zasady „lepsza“. Koszty nowego okablowania, dostępne trasy, procedury operacyjne oraz przewidywany rozwój liczby portów są równie istotne jak zasięg. Wcześniejsza klasyfikacja sieci PON 100 Gbit/s dotyczy podejścia do sieci dostępowej i nie stanowi wzorca kompatybilności ani architektury dla sieci Ethernet w centrum danych; nie należy jej zatem mylić z układami fizycznymi 100GbE.Przegląd sieci PON o przepustowości 100 Gbit/s

Przed dokonaniem zakupu konieczne jest sprawdzenie konkretnej kombinacji przełącznika, karty sieciowej i transceivera po obu stronach. Sprawdzane są przy tym obsługiwane standardy PHY, wymagania dotyczące FEC, kodowanie optyczne, złącza modułów oraz dopuszczalne kable. Dopiero ta akceptacja pozwala połączyć planowaną okablowanie pasywne z faktycznie obsługiwanym odcinkiem aktywnym; sam odpowiedni format obudowy nie jest wystarczający.

Odbiór, telemetria i eksploatacja

Odbiór łącza 100GbE rozpoczyna się od przejrzystej inwentaryzacji, a nie od pojedynczego zdarzenia podłączenia. Dla każdego połączenia należy udokumentować pełną trasę światłowodu, w tym przebieg, panele krosowe, złącza i oznaczenia portów. Należy podać typ zastosowanego modułu optycznego, klasę światłowodu, typ złącza, docelowy zasięg oraz ustawienia FEC wybrane po obu stronach. Przeglądy producentów rozróżniają moduły optyczne 100G według zasięgu, rodzaju światłowodu i metody transmisji; te potwierdzone specyfikacje produktu muszą odpowiadać rzeczywistej trasie.

• Należy sprawdzić stan połączenia oraz przyporządkowanie stacji przeciwnej na obu końcach.
• Należy sprawdzić zgodność typu optyki, numeru seryjnego, rodzaju światłowodu oraz udokumentowanej ścieżki połączeń.
• Należy zarejestrować stan FEC oraz licznik błędów przed przekazaniem oraz po upływie określonego czasu obserwacji.
• Dokładnie prześledzić ścieżki rezerwowe i sprawdzić związane z nimi systemy alarmowe.
• Należy wprowadzić dane kontaktowe w przypadku eskalacji, informacje o zamiennych elementach optycznych oraz aktualne potwierdzenie zgodności dla danego portu.

Podana w dokumentacji optycznej Zasięg opisuje daną wersję modułu i przewidziane dla niej medium transmisyjne; nie stanowi to ogólnego zatwierdzenia każdego zainstalowanego odcinka. W związku z tym do celów odbioru zaleca się dodatkowo sporządzenie bilansu tłumienia dostosowanego do konkretnego projektu. W bilansie tym uwzględnia się faktycznie istniejące punkty połączeń, złącza, spawki oraz przewidziane rezerwy. Czyste powierzchnie wtykowe oraz kompletna dokumentacja przebiegu są również wymaganiami kontrolnymi eksploatacyjnymi i powinny zostać wyraźnie określone w planie odbioru.

Podczas pracy systemy monitorujące powinny rejestrować wartości Link-Flaps, błędy skorygowane i nieskorygowane przez FEC, błędy symboli lub PCS, optyczne wartości diagnostyczne, a także obciążenie poszczególnych ścieżek, o ile platforma i nadajnik-odbiornik udostępniają te wartości. Pojedyncza wartość licznika nie stanowi jeszcze diagnozy: decydujące znaczenie mają trend, kierunek oraz związek czasowy ze zmianami w okablowaniu, elementach optycznych lub konfiguracji. W przypadku nieprawidłowości zespół operacyjny najpierw ustala, czy dotyczy to tylko jednej ścieżki, jednego urządzenia, czy też kilku podobnych połączeń.

Aby zapewnić nadmiarowość, nie wystarczy jedynie stwierdzić obecność dwóch łączy logicznych. Należy sprawdzić, czy faktycznie przebiegają one przez oddzielne porty, światłowody oraz – o ile jest to przewidziane – oddzielne ścieżki połączeń, a także czy reguły alarmowe na czas sygnalizują utratę połączenia. Wymagania dotyczące odporności fizycznej i funkcjonowania centrum danych należy uwzględnić w ogólnym planowaniu; kwestię tę wyjaśnia niniejszy artykuł Kryteria dotyczące lokalizacji, bezpieczeństwa i skalowalności centrum danych dalsze warunki ramowe.

Systematyczne zawężanie zakresu zakłóceń 100G

W przypadku awarii lub niestabilności łącza 100G ustalona kolejność sprawdzania jest bardziej efektywna niż natychmiastowa wymiana kilku komponentów. Najpierw należy sprawdzić dla obu końców zatwierdzoną kombinację przełącznika lub karty sieciowej, transceivera, kabla i modułu PHY, a także oczekiwany tryb pracy FEC. Interfejsy elektryczne o przepustowości 100 Gbit/s na lane są znormalizowane, jednak nie oznacza to automatycznej obsługi każdego wariantu modułu optycznego lub rozgałęźnika przez konkretną platformę.

Następnie podaje się dane dotyczące odcinka pasywnego: rodzaj włókna, strona wtykowa, trasa połączenia, oznaczenie oraz, w przypadku optyki równoległej, w szczególności Polaryzacja MPO . Odwrócona polaryzacja może uniemożliwić nawiązanie połączenia, natomiast pomylenie kabli OM3 i OM4 ogranicza dopuszczalną długość trasy. SR4 wymaga stosowania kabli wielomodowych i równoległych ścieżek optycznych; natomiast DR1, FR1 i LR1 działają w oparciu o dwukierunkowe łącza jednomodowe. Dlatego też kaseta o podobnym wyglądzie zewnętrznym lub pasujące złącze nie gwarantują, że rodzaj transmisji jest zgodny.

W przypadku podwyższonej częstotliwości błędów należy porównać liczniki błędów po obu stronach i powiązać ich pojawienie się ze wprowadzonymi zmianami. Jeśli wartości rosną tylko na jednym łączu, oczywistymi punktami kontrolnymi są elementy optyczne, powierzchnie stykowe, odcinek krosowy i port. Jeśli błędy występują na kilku połączeniach tego samego typu, należy zbadać wspólne czynniki, takie jak ustawienia FEC, kodowanie optyczne lub profil platformy. Udokumentowane specyfikacje transceiverów pomagają w dopasowaniu zasięgu i wymagań dotyczących światłowodów do konfiguracji sieci.

Nieoczekiwanie niskie przepustowości danych aplikacji należy badać dopiero po ustanowieniu stabilnego połączenia fizycznego. Pojedynczy strumień może być ograniczony przez prędkość ścieżki, rozkład hashowy ECMP lub stronę przeciwległą, mimo że zagregowana struktura dysponuje wolną przepustowością. Ponadto przepustowość danych użytkowych ograniczają: połączenie PCIe, sterowniki kart sieciowych, procesor, rozmiary pakietów, obciążenie protokołu oraz wydajność pamięci masowej. Port 100GbE jest zatem potencjalnym, ale niekoniecznie decydującym wąskim gardłem.

Ocena wskaźnika RoCE i decyzji o rozbudowie

W przypadku technologii RDMA over Converged Ethernet prędkość portu nie wystarcza jako kryterium wyboru. Wykorzystane tutaj źródło firmy NVIDIA wyraźnie opisuje system Cumulus Linux 4.0 i odsyła do nowszej dokumentacji produktowej. Stanowi ono zatem historyczny, związany z konkretnym produktem dowód na istnienie omawianych mechanizmów. Zawarte w nim polecenia i wartości graniczne nie stanowią ogólnego, aktualnego przewodnika obsługi dla innych platform.

W niniejszej dokumentacji rozróżnia się RoCEv1 na warstwie zabezpieczeń od RoCEv2 na warstwie 3. W przypadku RoCEv1 opisano w niej kontrolę przepływu opartą na priorytetach (PFC). W przypadku RoCEv2 wymienia ona protokół Explicit Congestion Notification (ECN) do sygnalizacji typu „od końca do końca” w sieciach routowanych oraz dodatkowo kontrolę przepływu dla sieci Ethernet o niskiej utracie pakietów. Nie można jednak na tej podstawie wywnioskować ani aktualnej, uniwersalnej konfiguracji PFC, ani możliwości przeniesienia historycznych ustawień systemu Cumulus Linux 4.0 na inne platformy.

W przypadku konkretnej rozbudowy sprawdź aktualną dokumentację zastosowanych kart sieciowych (NIC), przełączników oraz wersji oprogramowania. Jaka wersja RoCE jest przewidziana, jakie klasy ruchu są stosowane i jakie mechanizmy kontroli zatorów obsługuje ta konfiguracja? Należy również określić, w jaki sposób monitorowane będą zajętość kolejek, utrata pakietów, oznaczenia ECN oraz przerwy PFC. Nie należy przejmować historycznych wartości progowych ani ogólnych zaleceń dotyczących aktywacji bez przeprowadzenia walidacji specyficznej dla danej platformy.

Wybór między 25, 50, 100, 200 lub 400 GbE zależy od profilu obciążenia, połączenia z hostem oraz wymaganej rezerwy przepustowości na wypadek awarii. Plan rozwoju sieci Ethernet wskazuje kierunki rozwoju technologicznego, w tym połączenia 100G–800G oraz pojawiający się Ethernet o przepustowości 1,6 Tbit/s. Nie określa on jednak ani konkretnej architektury typu leaf-spine, ani przydatności danej prędkości dla poszczególnych klas serwerów. W tym celu nadal konieczne jest odrębne planowanie przepustowości.

Należy rozróżnić opublikowane standardy, projekty w toku oraz konkretne, dostępne funkcje produktów. IEEE prowadzi obecnie projekt P802.3dj jako aktywny projekt dla prędkości 200, 400 i 800 Gbit/s oraz 1,6 Tbit/s. Nie oznacza to jednak gwarancji kompatybilności z istniejącym sprzętem. W przypadku każdej ścieżki rozbudowy należy sprawdzić obsługę portów, moduły optyczne, trasy światłowodowe, pobór mocy oraz koszty eksploatacji w oparciu o faktycznie wybrane produkty.