Redes de 100 Gbit en el centro de datos: tecnología, componentes ópticos y planificación

Entender bien el 100GbE

En primer lugar, 100GbE hace referencia a una velocidad nominal del puerto Ethernet de 100 Gbit/s a nivel MAC. Esto no implica un tipo concreto de conector, ni un tipo de fibra específico, ni una distribución de carriles, ni una distancia de transmisión determinada. La hoja de ruta de Ethernet sigue clasificando el 100GbE junto a velocidades de datos de 25, 50, 200, 400 y superiores; la opción más adecuada depende del perfil de tráfico, la densidad de puertos y el objetivo de expansión.

La capacidad nominal de un puerto no debe equipararse al rendimiento de una aplicación. La sobrecarga de los protocolos Ethernet, IP y de transporte reduce la carga útil disponible; además, la CPU, los controladores de la tarjeta de red, la conexión PCIe, el rendimiento de la memoria o del almacenamiento, así como el extremo remoto, pueden suponer una limitación. Asimismo, los flujos de datos que compiten entre sí comparten la capacidad de un puerto. 100 Gbit/s Por lo tanto, se trata de una característica de la interfaz y no de una garantía de transferencia de datos para una aplicación concreta.

Por ejemplo, un servidor con una tarjeta de red de 100 GbE puede quedarse muy por debajo de la velocidad del puerto al copiar grandes cantidades de datos si el origen o el destino no leen o escriben con la rapidez suficiente. Por el contrario, un enlace ascendente de 100 G aumenta la capacidad conjunta de un pod de servidores sin que ello implique automáticamente que cada host alcance una velocidad de 100 Gbit/s. Por lo tanto, a la hora de planificar, es necesario tener en cuenta de forma conjunta los sistemas finales, las rutas de datos y los picos de carga.

No se puede afirmar de forma generalizada que 100 GbE sea demasiado poco o demasiado. 25 GbE puede ser suficiente para las conexiones generales de servidores, mientras que 50 GbE constituye un paso intermedio para una mayor densidad de hosts. Dependiendo del diseño, 100 GbE es adecuado para servidores, almacenamiento, enlaces ascendentes «leaf» o niveles «spine» más pequeños. En el caso de cargas de trabajo muy agregadas, 200 o 400 GbE pueden proporcionar la densidad de puertos necesaria. Los trabajos publicados por el IEEE abarcan varias velocidades de Ethernet y variantes de PHY; sin embargo, la velocidad por sí sola no describe una arquitectura de red completa.

Canales, PHY y corrección de errores

Para tomar decisiones fundamentadas, hay que analizar por separado tres niveles: los carriles eléctricos del dispositivo, el PHY óptico en la línea y la infraestructura pasiva formada por cables, fibras y paneles de conexión. Un puerto de 100 GbE puede utilizar varios carriles, ya sea internamente o en la interfaz eléctrica del host. Los enfoques más antiguos, que siguen siendo habituales, suelen agrupar cuatro carriles de 25 Gbit/s; las interfaces más recientes especifican carriles eléctricos de hasta 100 Gbit/s.

El número de carriles no indica por sí solo cómo transmite un módulo óptico. Un PHY puede utilizar rutas ópticas paralelas o transportar 100 Gbit/s a través de una sola longitud de onda. De ello se derivan diferentes requisitos en cuanto al tipo de fibra, los conectores y las rutas de conexión. Por lo tanto, una velocidad de datos adecuada y el mismo factor de forma no bastan para demostrar la compatibilidad: el conmutador, la tarjeta de red y el transceptor deben ser compatibles con la variante concreta del PHY.

El Corrección de errores La corrección de errores hacia adelante (FEC) es una característica que debe comprobarse en la documentación del PHY y de la plataforma a la hora de seleccionar y poner en marcha una conexión concreta de 100G. No es posible deducir una configuración de FEC válida de forma general a partir únicamente de la velocidad del puerto o del factor de forma del módulo. Lo determinante son las especificaciones y los modos de funcionamiento compatibles de los dispositivos y transceptores en ambos extremos.

El factor de forma QSFP28 describe principalmente el diseño y la familia de interfaces eléctricas, pero no implica una intercambiabilidad universal de los módulos ópticos o los cables de conexión. Un cable de conexión requiere que el modo de puerto, la distribución de carriles, el perfil del extremo opuesto y el cableado estén diseñados para ello. Por lo tanto, antes de la adquisición y la migración, es obligatorio verificar las homologaciones de los respectivos fabricantes de conmutadores y tarjetas de red (NIC) para el módulo, el cable, el PHY, el FEC y el modo de cable de derivación. La norma IEEE 802.3ck aborda las interfaces eléctricas de hasta 100 Gbit/s por carril, pero no sustituye dicha comprobación de la plataforma.

100G en la red Leaf-Spine

En una ruta Red «Leaf-Spine» Los servidores, los sistemas de almacenamiento y otros puntos finales se conectan en primer lugar a los conmutadores «leaf». Cada «leaf» está conectado a los conmutadores «spine» a través de varias conexiones de capa 3 de igual rango. De este modo, el tráfico de datos entre dos servidores situados en diferentes zonas «leaf» discurre desde el «leaf» de origen, pasando por un «spine», hasta el «leaf» de destino, en lugar de tener que atravesar una red central de capa 2.

Esta estructura está diseñada para el tráfico este-oeste, es decir, la comunicación dentro del centro de datos entre aplicaciones, bases de datos, almacenamiento y nodos de cálculo. La red subyacente de capa 3 proporciona varias rutas equivalentes. El ECMP (Equal-Cost Multi-Path) puede distribuir los flujos de datos por estas rutas mediante un algoritmo hash. De este modo, se puede aprovechar el ancho de banda agregado; sin embargo, que quede capacidad suficiente tras un fallo del enlace ascendente depende del dimensionamiento concreto.

El papel de 100GbE se rige por el perfil del puerto. Un servidor de cálculo o almacenamiento con alta densidad puede necesitar 100GbE en el host; en otro pod, los puertos de 100G agregan varios servidores de 25G como enlaces ascendentes de hoja. Del mismo modo, los enlaces de 100G pueden constituir el nivel «spine» de un diseño más pequeño. Lo decisivo es la relación entre la capacidad de los hosts conectados y la capacidad de los enlaces ascendentes, es decir, la planificación deliberada de Overbooking.

Una capacidad total elevada no acelera un flujo de datos concreto de forma ilimitada. En muchas implementaciones, el ECMP asigna un flujo a una ruta determinada; su velocidad sigue estando limitada por el ancho de banda de dicha ruta y por los sistemas finales. Por lo tanto, unos valores hash distribuidos de forma desigual o unos pocos flujos muy grandes pueden provocar cuellos de botella, a pesar de que haya capacidad libre en otros enlaces. Por consiguiente, la planificación de la capacidad debe tener en cuenta tanto la suma de todos los flujos como los flujos individuales dominantes y los casos de fallo.

Comparar componentes ópticos y cables de 100G

La elección de una conexión de 100G no empieza por la carcasa QSFP28, sino por la ruta de transmisión completa. Un transceptor define una interfaz física (PHY) concreta con requisitos específicos en cuanto a la fibra, las rutas ópticas y el alcance. Por lo tanto, un mismo factor de forma puede albergar diferentes tecnologías que no son compatibles entre sí, ni desde el punto de vista óptico ni eléctrico.

Para conexiones paralelas cortas, utiliza 100GBASE-SR4 Fibra multimodo y, por lo general, conectores MPO-12/MTP-12. Las cuatro vías ópticas de transmisión y recepción hacen que la polaridad correcta forme parte de la planificación. La especificación de la OM3 es de hasta 70 m, y la de la OM4, de hasta 100 m; por lo tanto, los tramos LC dúplex existentes no pueden utilizarse como tramos SR4 sin la infraestructura adecuada.

Los módulos de Juniper documentados para DR1, FR1 y LR1 utilizan fibra monomodo y conector LC dúplex; los alcances indicados son de 500 m, 2 km y 10 km. No obstante, el conector del módulo es una característica específica del producto y se ajusta a la documentación del fabricante. El PHY, el medio óptico, el número de fibras y la conexión del módulo deben comprobarse por separado. Las superficies de contacto, los acopladores, los empalmes y las reservas también deben incluirse en el balance de atenuación.

La denominación «LR» requiere especial atención: LR1 y LR4 Aunque alcanzan hasta 10 km cada uno a través de fibra monomodo, se trata de PHY distintos. LR1 funciona con una única longitud de onda de 100 Gbit/s, mientras que LR4 utiliza otro método de múltiples longitudes de onda. Por lo tanto, el hecho de que compartan la misma infraestructura de fibra monomodo de dos hilos y que las variantes de producto sean mecánicamente compatibles no garantiza la interoperabilidad óptica. Además, la conexión concreta del módulo depende del producto; por ejemplo, la variante documentada CPAK-100GBASE-LR4 de Cisco utiliza un conector SC dúplex.

Los DAC y los AOC son una opción específica para distancias cortas. Los cables de cobre pasivos o activos y los cables ópticos activos no tienen una regla de alcance universal que pueda deducirse de „100G“. Antes de la adquisición, es necesario comprobar la matriz de compatibilidad de ambos extremos del puerto, así como la longitud concreta del cable y el radio de curvatura previsto.

Planificar enlaces ascendentes con cálculo de capacidad

El siguiente ejemplo ilustrativo describe expresamente un diseño de conexión única (single-homing): 48 hosts disponen cada uno de una conexión de 25 GbE. Grupos de 24 hosts están conectados cada uno a uno de los dos «leaves». De este modo, se obtiene una capacidad de conexión de 600 Gbit/s por «leaf» y de 1.200 Gbit/s en todo el «pod». Se trata de un cálculo de capacidad, no del rendimiento medido de las aplicaciones.

Cada «Leaf» dispone de dos enlaces ascendentes de 100 Gbit/s cada uno. La capacidad de los enlaces ascendentes es, por tanto, de 200 Gbit/s por «Leaf» y de 400 Gbit/s entre ambos «Leafs». Para cada Leaf, 600 dividido entre 200 da como resultado una sobrecapacidad estimada de 3:1. Esta cifra describe la capacidad de enlace instalada; el rendimiento útil depende además de los flujos de datos, los puntos remotos y los protocolos.

Si falla un único enlace ascendente, al «leaf» afectado le quedan 100 Gbit/s para sus conexiones de host de 600 Gbit/s. La relación teórica aumenta allí a 6:1. La caída de un «leaf» completo hace que, en este modelo de conexión de hosts deliberadamente no redundante, sus 24 hosts queden inaccesibles. Por lo tanto, dos «leaves» por sí solos no garantizan una conexión a prueba de fallos para cada servidor.

Un diseño de doble conexión debe calcularse por separado. Con 48 hosts, cada uno con dos conexiones de 25 G, la capacidad física conectada es de 2.400 Gbit/s. El hecho de que ambas conexiones transporten tráfico útil al mismo tiempo o de que una sirva como reserva modifica las hipótesis de carga. Por lo tanto, documenta el número de conexiones, el modelo operativo activo, la capacidad por leaf y la capacidad residual deseada para cada caso de fallo considerado.

La distribución del tráfico también forma parte de la planificación. ECMP distribuye los flujos a través de rutas equivalentes; la agregación de enlaces agrupa los enlaces físicos en una conexión lógica. Ambos métodos deben evaluarse por separado. En la distribución basada en hash, un flujo concreto no recibe automáticamente todo el ancho de banda total. Planifica los flujos de datos dominantes, las ventanas de copia de seguridad y las reservas, además de la proporción calculada.

Migración de MPO a SMF dúplex

El cambio de un entorno SR4 a DR1 o FR1 es un proyecto de infraestructura, no una mejora automática de la calidad. SR4 utiliza rutas multimodo paralelas con MPO-12/MTP-12. Por el contrario, DR1 y FR1 utilizan fibra monomodo dúplex; la conexión del módulo es una característica del producto. Los módulos DR1 y FR1 documentados en la descripción general de Juniper cuentan con conexiones LC dúplex. Por lo tanto, las rutas existentes, los paneles de conexión y las reservas determinan si es más conveniente una migración paralela o una transición gradual.

En primer lugar, se determina la necesidad real de alcance: el DR1 está previsto para 500 m y el FR1 para 2 km. Si todas las rutas se encuentran dentro de un mismo espacio, un cableado SR4 que funcione correctamente puede seguir siendo adecuado. Si las rutas superan habitualmente los límites del SR4 o si se deben conectar secciones de un edificio, el SMF dúplex con el PHY adecuado ofrece un marco de planificación diferente.

• Documentar las rutas de fibra existentes, la clase de fibra, los paneles de conexión y la polaridad MPO por conexión.
• Determina el alcance necesario y el PHY adecuado para ello; no elijas DR1 y FR1 basándote únicamente en el tipo de conector.
• Planificar rutas de fibra SMF dúplex, incluyendo conexiones de módulos específicas para cada producto, reserva de atenuación, superficies de conexión y rutas de redundancia.
• Evaluar las velocidades futuras de los puertos, las ranuras disponibles y el momento de la transición para cada pod.
• Comprobar que el conmutador, la tarjeta de red, el transceptor y, en su caso, las opciones de conexión, formen una combinación específicamente autorizada.

El Polaridad MPO Debería documentarse como un punto de comprobación independiente mientras se mantengan partes del cableado paralelo SR4. Un adaptador que encaje mecánicamente no resuelve automáticamente cuestiones relativas a la asignación de señales, el número de fibras o el método de transmisión admisible. Por lo tanto, como recomendación de planificación, se aconseja una separación y un etiquetado claros de las rutas de conexión: SR4 a través de MMF, por un lado, y DR1 o FR1 a través de SMF, por otro.

El SMF dúplex puede simplificar las opciones de ampliación, pero no es „mejor“ en todos los casos. Los costes de recableado, las rutas disponibles, los procesos operativos y la evolución prevista del número de puertos son tan relevantes como el alcance. La clasificación anterior de PON de 100 Gbit/s se refiere a un enfoque de red de acceso y no constituye una plantilla de compatibilidad o arquitectura para Ethernet en el centro de datos; por lo tanto, no debe confundirse con los PHY de 100GbE.Resumen de la tecnología PON de 100 Gbit/s

Antes de realizar una adquisición, es imprescindible comprobar la combinación concreta de conmutador, tarjeta de red y transceptor en ambos extremos. Para ello, se comprueban los PHY compatibles, los requisitos de FEC, la codificación óptica, las conexiones de los módulos y los cables admitidos. Solo esta autorización permite conectar el cableado pasivo previsto con un tramo activo que sea realmente compatible; no basta con que el formato de la carcasa sea el adecuado.

Pruebas de aceptación, telemetría y funcionamiento

La puesta en servicio de un enlace de 100 GbE comienza con un inventario detallado, no con un simple evento de conexión. Documenta para cada conexión el recorrido completo de la fibra, incluyendo el trazado, los paneles de conexión, los conectores y las denominaciones de los puertos. Indica el tipo de módulo óptico utilizado, la clase de fibra, el tipo de conector, el alcance nominal y la configuración de FEC seleccionada en ambos extremos. Las fichas técnicas de los fabricantes clasifican los módulos ópticos de 100G según el alcance, la fibra y el método de transmisión; estas especificaciones de producto documentadas deben coincidir con la distancia real.

• Comprueba el estado del enlace y la asignación de la estación remota en ambos extremos.
• Comprobar el tipo de óptica, el número de serie, el tipo de fibra y la ruta de conexión documentada.
• Registrar el estado del FEC y el contador de errores antes de la transferencia y tras un periodo de observación definido.
• Analizar de forma específica las rutas de redundancia y comprobar el sistema de alarmas correspondiente.
• Registrar el contacto para casos de escalación, las opciones de sustitución y la autorización de compatibilidad vigente para el puerto correspondiente.

La indicada en la documentación óptica Llegue a Describe la variante de módulo correspondiente y su medio de transmisión previsto; no supone una autorización general de todos los tramos instalados. Por ello, para la recepción se recomienda además un balance de atenuación específico para cada proyecto. En él se registran los puntos de conexión, acoplamientos y empalmes realmente existentes, así como las reservas previstas. Las superficies de conexión limpias y una documentación completa del recorrido son también requisitos de comprobación operativa y deben establecerse expresamente en el plan de aceptación.

Durante el funcionamiento, los sistemas de supervisión deben registrar los «link flaps», los errores corregidos por FEC y los no corregibles, los errores de símbolo o PCS, los valores de diagnóstico óptico, así como la carga por ruta, siempre que la plataforma y el transceptor faciliten dichos valores. Un único valor de contador no constituye por sí solo un diagnóstico: lo decisivo es la tendencia, la dirección y la relación temporal con los cambios en el enrutamiento, los componentes ópticos o la configuración. En caso de anomalías, el equipo de operaciones aclara en primer lugar si solo se ve afectada una ruta, un dispositivo o varias conexiones del mismo tipo.

Para garantizar la redundancia, no basta con que haya dos enlaces lógicos. Comprueba si, efectivamente, discurren por puertos y fibras independientes y —en la medida en que esté previsto— por rutas de conexión separadas, y si las reglas de alarma notifican una pérdida a tiempo. Los requisitos de resiliencia física y de funcionamiento del centro de datos deben incluirse en la planificación general; el artículo explica esto con más detalle. Criterios relativos a la ubicación, la seguridad y la escalabilidad de un centro de datos condiciones marco adicionales.

Localizar sistemáticamente las averías de 100G

En caso de que un enlace de 100G falle o sea inestable, seguir un orden de comprobación fijo resulta más eficaz que sustituir inmediatamente varios componentes. En primer lugar, comprueba en ambos extremos la combinación autorizada de conmutador o tarjeta de red, transceptor, cable y PHY, así como el modo de funcionamiento FEC previsto. Las interfaces eléctricas de 100 Gbit/s por carril están estandarizadas; sin embargo, esto no implica que una plataforma concreta admita automáticamente todas las variantes de módulos ópticos o de conexión.

A continuación viene la sección pasiva: tipo de fibra, cara de conexión, ruta del conector, etiquetado y, en el caso de la óptica paralela, en particular la Polaridad MPO . Una polaridad invertida puede impedir el establecimiento de una conexión, mientras que una confusión entre OM3 y OM4 afecta a la longitud de diseño admisible. SR4 requiere trayectorias ópticas multimodo y paralelas; por el contrario, DR1, FR1 y LR1 funcionan a través de tramos dúplex monomodo. Por lo tanto, el hecho de que un cartucho tenga un aspecto similar o que un conector encaje no garantiza que el tipo de transmisión sea compatible.

Si se producen tasas de error elevadas, compara los contadores de errores en ambos extremos y atribuye su inicio a los cambios realizados. Si los valores aumentan solo en un enlace, los puntos de comprobación más evidentes son la óptica, las superficies de conexión, el tramo de conexión y el puerto. Si se producen errores en varias conexiones del mismo tipo, deben analizarse factores comunes como la configuración de FEC, la codificación óptica o un perfil de plataforma. Las especificaciones documentadas de los transceptores ayudan a comparar el alcance y los requisitos de la fibra con la configuración.

Las tasas de datos de aplicación inesperadamente bajas solo deben analizarse una vez que se haya establecido un enlace físico estable. Un flujo concreto puede verse limitado por la velocidad de su ruta, la distribución del hash ECMP o el extremo opuesto, aunque la estructura agregada disponga de capacidad libre. Además, la conexión PCIe, los controladores de la tarjeta de red, la CPU, el tamaño de los paquetes, la sobrecarga del protocolo y el rendimiento del almacenamiento limitan el rendimiento de los datos útiles. Por lo tanto, el puerto de 100 GbE es un posible cuello de botella, pero no necesariamente el determinante.

Evaluar el RoCE y la decisión de ampliación

En el caso de RDMA sobre Ethernet convergente, la velocidad del puerto no es suficiente como criterio de selección. La fuente de NVIDIA utilizada aquí describe expresamente Cumulus Linux 4.0 y remite a su vez a documentación más reciente del producto. Por lo tanto, sirve como referencia histórica y específica del producto para los mecanismos tratados. Sus comandos y valores límite no constituyen una guía operativa general y actualizada para otras plataformas.

Esta documentación distingue entre RoCEv1 en la capa de seguridad y RoCEv2 en la capa 3. Para RoCEv1, describe el control de flujo por prioridad (PFC). En cuanto a RoCEv2, menciona la Notificación explícita de congestión (ECN) para la señalización de extremo a extremo a través de redes enrutadas y, además, el control de flujo para Ethernet con pocas pérdidas. Sin embargo, de ello no se puede deducir ni una configuración PFC universal actual ni la transferibilidad de los ajustes históricos de Cumulus Linux 4.0 a otras plataformas.

Para una ampliación concreta, consulta la documentación actual de las tarjetas de red (NIC), los conmutadores y las versiones de software utilizados. ¿Qué versión de RoCE está prevista, qué clases de tráfico se utilizan y qué mecanismos de control de congestión admite esta combinación? Determina, además, cómo se supervisan la ocupación de colas, la pérdida de paquetes, las marcas ECN y las pausas de PFC. No apliques umbrales históricos ni recomendaciones de activación globales sin una validación específica para la plataforma.

La elección entre 25, 50, 100, 200 o 400 GbE depende del perfil de carga, la conexión al host y la capacidad de reserva necesaria en caso de fallo. La hoja de ruta de Ethernet muestra las tendencias de desarrollo tecnológico, entre las que se incluyen las conexiones de 100G a 800G y la emergente Ethernet de 1,6 Tbit/s. Sin embargo, no establece una arquitectura «leaf-spine» concreta ni la idoneidad de una velocidad determinada para cada clase de servidor. Para ello, sigue siendo necesaria una planificación de capacidad específica.

Por último, hay que distinguir entre los estándares ya publicados, los proyectos en curso y las funciones concretas de los productos disponibles. El IEEE figura el P802.3dj, en su estado actual, como un proyecto activo para 200, 400 y 800 Gbit/s, así como para 1,6 Tbit/s. Esto no supone ninguna garantía para el hardware existente. Comprueba, para cada vía de ampliación, la compatibilidad de los puertos, los módulos ópticos, las rutas de fibra, el consumo energético y los costes operativos en función de los productos realmente seleccionados.