Redes de 100 Gbit no centro de dados: tecnologia, componentes óticos e planeamento

Entender bem o 100GbE

100GbE refere-se, em primeiro lugar, a uma velocidade nominal da porta Ethernet de 100 Gbit/s ao nível do MAC. Isso não implica um tipo específico de conector, nem um tipo de fibra definido, nem uma divisão de lanes, nem uma distância de transmissão específica. O roteiro da Ethernet continua a classificar o 100GbE ao lado de taxas de dados de 25, 50, 200, 400 e superiores; o nível adequado depende do perfil de tráfego, da densidade de portas e do objetivo de expansão.

A capacidade nominal da porta não deve ser equiparada ao débito de uma aplicação. A sobrecarga dos protocolos Ethernet, IP e de transporte reduz a carga útil disponível; além disso, a CPU, os controladores da placa de rede, a ligação PCIe, o desempenho da memória ou do armazenamento, bem como o terminal remoto, podem constituir limitações. Além disso, os fluxos de dados concorrentes partilham a capacidade de uma porta. 100 Gbit/s são, portanto, uma característica da interface e não uma garantia de transferência de dados de uma aplicação específica.

Um servidor com uma placa de rede de 100 GbE pode, por exemplo, ficar significativamente abaixo da velocidade da porta ao copiar grandes quantidades de dados, se a fonte ou o destino não lerem ou gravarem com rapidez suficiente. Por outro lado, uma ligação ascendente de 100 G aumenta a capacidade total de um pod de servidores, sem acelerar automaticamente cada host individual para 100 Gbit/s. Por isso, no planeamento, é necessário considerar em conjunto os sistemas finais, os percursos de dados e os picos de carga.

O 100GbE não é, de forma geral, demasiado pequeno nem demasiado grande. O 25GbE pode ser suficiente para ligações gerais a servidores, enquanto o 50GbE constitui um nível intermédio para uma maior densidade de hosts. Dependendo da conceção, o 100GbE é adequado para servidores, armazenamento, ligações ascendentes «leaf» ou níveis «spine» de menor dimensão. No caso de cargas de trabalho altamente agregadas, o 200 ou o 400 GbE podem fornecer a densidade de portas necessária. Os trabalhos publicados pela IEEE abrangem várias velocidades Ethernet e variantes PHY; no entanto, a velocidade por si só não descreve uma arquitetura de rede completa.

Canais, PHYs e correção de erros

Para se tomarem decisões fundamentadas, é necessário analisar separadamente três níveis: as pistas elétricas no equipamento, o PHY ótico na linha e a infraestrutura passiva composta por cabos, fibras e painéis de ligação. Uma porta 100GbE pode utilizar várias vias, quer internamente, quer na interface elétrica do anfitrião. As abordagens mais antigas, ainda amplamente utilizadas, agrupam frequentemente quatro vias de 25 Gbit/s; as interfaces mais recentes especificam vias elétricas até 100 Gbit/s.

O número de vias ainda não indica como um módulo ótico transmite. Um PHY pode utilizar vias óticas paralelas ou transportar 100 Gbit/s através de um único comprimento de onda. Daí resultam diferentes requisitos quanto ao tipo de fibra, aos conectores e aos percursos de ligação. Uma taxa de dados adequada e o mesmo formato não são, portanto, suficientes para comprovar a compatibilidade: o switch, a placa de rede e o transceptor têm de suportar a variante específica do PHY.

O Correção de erros A Correção Antecipada de Erros (FEC) é uma característica que deve ser verificada com base na documentação do PHY e da plataforma aquando da seleção e colocação em funcionamento de uma ligação 100G específica. Não é possível determinar uma configuração de FEC universalmente válida apenas com base na velocidade da porta ou no formato do módulo. O que é determinante são as especificações e os modos de funcionamento suportados pelos equipamentos e transceptores em ambas as extremidades.

O formato QSFP28 descreve, acima de tudo, o design e a família de interfaces elétricas, mas não garante a intercambiabilidade universal de módulos óticos ou cabos de breakout. Um cabo de breakout pressupõe que o modo da porta, a divisão de lanes, o perfil do equipamento do outro lado da ligação e o cabeamento estejam preparados para o efeito. Por conseguinte, antes da aquisição e da migração, é obrigatório verificar as aprovações dos respetivos fabricantes de switches e placas de rede (NIC) relativamente ao módulo, ao cabo, ao PHY, ao FEC e ao modo de breakout. A norma IEEE 802.3ck aborda interfaces elétricas até 100 Gbit/s por lane, mas não substitui essa verificação da plataforma.

100G na rede Leaf-Spine

Numa rede encaminhada Rede Leaf-Spine Os servidores, os sistemas de armazenamento e outros pontos finais ligam-se, numa primeira fase, aos switches Leaf. Cada «leaf» está ligado a «spine switches» através de várias ligações de camada 3 equivalentes. O tráfego de dados entre dois servidores em diferentes áreas «leaf» passa, assim, do «leaf» de origem através de um «spine» até ao «leaf» de destino, em vez de ter de atravessar uma rede central de camada 2.

Esta estrutura foi concebida para o tráfego Este-Oeste, ou seja, a comunicação no interior do centro de dados entre aplicações, bases de dados, armazenamento e nós de computação. A sub-rede de camada 3 disponibiliza vários percursos equivalentes. O ECMP (Equal-Cost Multi-Path) pode distribuir os fluxos de dados por estas vias com base num algoritmo de hash. Desta forma, é possível aproveitar a largura de banda agregada; no entanto, a questão de saber se ainda resta capacidade suficiente após uma falha na ligação ascendente depende do dimensionamento específico.

O papel da 100GbE segue, neste contexto, o perfil da porta. Um servidor de computação ou de armazenamento com alta densidade pode necessitar de 100GbE no anfitrião; noutro pod, as portas de 100G agregam vários servidores de 25G como ligações ascendentes de folha. Da mesma forma, as ligações de 100G podem constituir o nível «spine» de uma arquitetura de menor dimensão. O fator decisivo é a relação entre a capacidade dos anfitriões ligados e a capacidade das ligações ascendentes, ou seja, a relação planeada de forma deliberada Sobre-reserva.

Uma elevada capacidade total não acelera um único fluxo de dados de forma arbitrária. Em muitas implementações, o ECMP atribui um fluxo a um determinado caminho; a velocidade deste permanece limitada pela largura de banda desse caminho e pelos sistemas finais. Valores de hash distribuídos de forma desigual ou um número reduzido de fluxos muito grandes podem, por isso, causar estrangulamentos, apesar da capacidade disponível noutros ligações. O planeamento da capacidade deve, consequentemente, ter em conta tanto a soma de todos os fluxos como os fluxos individuais dominantes e as situações de falha.

Comparar componentes óticos e cabos de 100G

A escolha de uma ligação de 100G não começa pela caixa QSFP28, mas sim pelo percurso de transmissão completo. Um transceptor define uma determinada camada PHY com requisitos relativos à fibra, aos percursos óticos e ao alcance. O mesmo formato pode, portanto, acomodar diferentes tecnologias que não são automaticamente compatíveis entre si, nem do ponto de vista ótico nem do ponto de vista elétrico.

Para ligações paralelas curtas, utiliza-se 100GBASE-SR4 Fibra multimodo e, normalmente, conectores MPO-12/MTP-12. Os quatro caminhos óticos de transmissão e receção fazem com que a polaridade correta faça parte do planeamento. A OM3 está especificada até 70 m e a OM4 até 100 m; assim, os percursos LC duplex existentes não podem ser utilizados como percursos SR4 sem a infraestrutura adequada.

Os módulos Juniper documentados para DR1, FR1 e LR1 utilizam fibra monomodo e conector LC duplex; os alcances indicados são de 500 m, 2 km e 10 km. No entanto, o conector do módulo é uma característica específica do produto e está em conformidade com a documentação do fabricante. O PHY, o meio ótico, o número de fibras e a ligação do módulo devem ser verificados separadamente. As superfícies de contacto, os acopladores, as emendas e as reservas devem ser incluídos adicionalmente no balanço de atenuação.

A designação LR requer um cuidado especial: LR1 e LR4 Embora alcancem, cada um, até 10 km através de fibra monomodo, são, no entanto, PHYs diferentes. O LR1 funciona com um único comprimento de onda de 100 Gbit/s, enquanto o LR4 utiliza um método diferente de múltiplos comprimentos de onda. Por conseguinte, a mesma infraestrutura de SMF de duas fibras e variantes de produto mecanicamente compatíveis não garantem a interoperabilidade ótica. Além disso, a ligação concreta do módulo depende do produto; a variante Cisco CPAK 100GBASE LR4 documentada, por exemplo, utiliza SC duplex.

Os DACs e os AOCs constituem uma opção específica para distâncias curtas. Os cabos de cobre passivos ou ativos e os cabos óticos ativos não têm uma regra de alcance universalmente válida que possa ser deduzida a partir de „100G“. Antes da aquisição, é necessário verificar a matriz de compatibilidade de ambas as extremidades da porta, bem como o comprimento concreto do cabo e o raio de curvatura previsto.

Planear ligações de subida com cálculo de capacidade

O exemplo de cálculo ilustrativo que se segue descreve explicitamente um design de ligação única (single-homing): 48 hosts dispõem, cada um, de uma ligação de 25 GbE. Grupos de 24 hosts estão ligados a exatamente um dos dois «leaves». Isto resulta numa capacidade de ligação de 600 Gbit/s por «leaf» e 1 200 Gbit/s em todo o «pod». Trata-se de um cálculo de capacidade, não de um débito de aplicação medido.

Cada Leaf dispõe de duas ligações ascendentes, cada uma com 100 Gbit/s. A capacidade das ligações ascendentes ascende, assim, a 200 Gbit/s por Leaf e a 400 Gbit/s entre os dois Leafs. Para cada Leaf, 600 dividido por 200 resulta numa sobrelotação estimada de 3:1. Este valor refere-se à capacidade de ligação instalada; a largura de banda útil depende adicionalmente dos fluxos de dados, dos pontos remotos e dos protocolos.

Se um único uplink falhar, o leaf afetado dispõe de 100 Gbit/s para as suas ligações de 600 Gbit/s aos hosts. A relação teórica aumenta, nesse caso, para 6:1. A falha de um «leaf» inteiro torna inacessíveis os seus 24 hosts neste modelo de ligação a hosts deliberadamente não redundante. Por isso, dois «leaves» por si só não garantem uma ligação à prova de falhas para cada servidor.

Um projeto de dual-homing deve ser calculado separadamente. Com 48 hosts, cada um com duas ligações de 25G, a capacidade física ligada é de 2 400 Gbit/s. O facto de ambas as ligações transportarem tráfego ativo em simultâneo ou de uma delas servir de reserva altera as premissas de carga. Por isso, documente o número de ligações, o modelo de funcionamento ativo, a capacidade por «leaf» e a capacidade residual pretendida para cada cenário de falha considerado.

A distribuição do tráfego também faz parte do planeamento. O ECMP distribui os fluxos por caminhos de encaminhamento equivalentes; a agregação de ligações agrupa ligações físicas numa ligação lógica. Ambos os métodos devem ser avaliados separadamente. Na distribuição baseada em hash, um único fluxo não recebe automaticamente toda a largura de banda total. Planeie fluxos de dados dominantes, janelas de backup e reservas para além da proporção calculada.

Migração de MPO para SMF duplex

A transição de um ambiente SR4 para DR1 ou FR1 é um projeto de infraestrutura, não uma melhoria automática da qualidade. O SR4 utiliza caminhos multimodo paralelos com MPO-12/MTP-12. Por outro lado, o DR1 e o FR1 utilizam fibra monomodo duplex; a ligação do módulo é uma característica do produto. Os módulos DR1 e FR1 documentados na visão geral da Juniper possuem ligações LC duplex. Por conseguinte, as vias existentes, os painéis de ligação e as reservas determinam se faz mais sentido uma migração paralela ou uma transição gradual.

Em primeiro lugar, é determinada a necessidade real de alcance: o DR1 está previsto para 500 m, o FR1 para 2 km. Se todos os percursos se situarem dentro de um mesmo espaço, uma cablagem SR4 em bom estado de funcionamento pode continuar a ser adequada. Se os percursos ultrapassarem regularmente os limites do SR4 ou se for necessário ligar secções do edifício, o SMF duplex, com o PHY adequado, cria um quadro de planeamento diferente.

• Documentar as vias de fibra existentes, a classe de fibra, os painéis de ligação e a polaridade do MPO por ligação.
• Determinar o alcance necessário e o PHY adequado para o efeito; não selecionar o DR1 e o FR1 apenas com base no tipo de conector.
• Planear percursos de fibra SMF duplex, incluindo ligações de módulos específicas do produto, reserva de atenuação, superfícies de encaixe e percursos de redundância.
• Avaliar as futuras velocidades das portas, as ranhuras disponíveis e o momento da transição para cada pod.
• Verificar se o switch, a placa de rede, o transceptor e, se for o caso, as opções de breakout constituem uma combinação especificamente autorizada.

O Polaridade MPO deve ser documentado como um ponto de verificação específico, enquanto forem mantidas partes da cablagem SR4 paralela. Um adaptador mecanicamente compatível não responde automaticamente a questões relativas à atribuição de sinais, ao número de fibras ou ao método de transmissão permitido. Como recomendação de planeamento, sugere-se, portanto, uma separação e identificação claras dos percursos de ligação: SR4 através de MMF, por um lado, e DR1 ou FR1 através de SMF, por outro.

O SMF duplex pode simplificar as vias de expansão, mas não é, de forma geral, „melhor“. Os custos de recabeamento, os percursos disponíveis, os processos operacionais e a evolução prevista do número de portas são tão relevantes quanto o alcance. A classificação anterior de PON de 100 Gbit/s diz respeito a uma abordagem de rede de acesso e não constitui um modelo de compatibilidade ou de arquitetura para a Ethernet no centro de dados; por isso, não deve ser confundida com os PHYs de 100GbE.Visão geral da rede PON de 100 Gbit/s

Antes de qualquer aquisição, é obrigatório verificar a combinação específica de switch, placa de rede e transceptor em ambos os lados. Nesse contexto, são verificados os PHY suportados, os parâmetros FEC, a codificação ótica, as ligações dos módulos e os cabos permitidos. Só esta aprovação permite ligar a cablagem passiva planeada a um troço ativo efetivamente compatível; um formato de caixa adequado, por si só, não é suficiente.

Aceitação, telemetria e operação

A aceitação de uma ligação 100GbE começa com um inventário detalhado e compreensível, e não com um simples evento de ligação. Documente, para cada ligação, o percurso completo da fibra, incluindo o traçado, os painéis de ligação, os conectores e as designações das portas. Indique o tipo de módulo ótico utilizado, a classe da fibra, o tipo de conector, o alcance nominal, bem como a configuração de FEC selecionada em ambos os lados. As fichas técnicas dos fabricantes distinguem os módulos óticos de 100G consoante o alcance, a fibra e o método de transmissão; estas especificações de produto comprovadas têm de corresponder ao percurso real.

• Verificar o estado da ligação e a atribuição do terminal em ambas as extremidades.
• Verificar o tipo de ótica, o número de série, o tipo de fibra e o percurso do patch documentado.
• Registar o estado do FEC, bem como o contador de erros, antes da transferência e após um período de observação definido.
• Identificar de forma específica os percursos de redundância e verificar o sistema de alarme correspondente.
• Registar o contacto para casos de escalamento, as opções alternativas e a aprovação de compatibilidade atual para a respetiva porta.

A valor indicado na documentação ótica Alcance descreve a variante do módulo em questão e o meio de transmissão previsto para o mesmo; não se trata de uma aprovação genérica de todas as linhas instaladas. Por isso, para a aceitação, recomenda-se adicionalmente um balanço de atenuação específico para o projeto. Nesta, são registados os pontos de ligação, acoplamentos, emendas e reservas previstas efetivamente existentes. Superfícies de ligação limpas e uma documentação completa do percurso são igualmente requisitos de verificação operacional e devem ser expressamente definidos no plano de aceitação.

Durante o funcionamento, os sistemas de monitorização devem registar «link flaps», erros corrigidos por FEC e não corrigíveis, erros de símbolo ou PCS, valores de diagnóstico ótico, bem como a carga por caminho, desde que a plataforma e o transceptor forneçam esses valores. Um único valor de contador não constitui, por si só, um diagnóstico: o que é decisivo é a tendência, a direção e a relação temporal com alterações na ligação, nos componentes óticos ou na configuração. Em caso de anomalias, a equipa de operação esclarece, em primeiro lugar, se está afetado apenas um caminho, um dispositivo ou várias ligações do mesmo tipo.

Para garantir a redundância, não basta verificar a existência de duas ligações lógicas. Verifique se estas passam efetivamente por portas, fibras e — caso esteja previsto — percursos de ligação separados, e se as regras de alarme comunicam atempadamente uma eventual perda. Os requisitos relativos à resiliência física e ao funcionamento do centro de dados devem ser incluídos no planeamento global; o artigo explica este aspeto Critérios relativos à localização, segurança e escalabilidade de um centro de dados condições-quadro complementares.

Identificar sistematicamente as falhas de 100G

No caso de uma ligação 100G com falha ou instável, uma sequência de verificação definida é mais eficiente do que a substituição imediata de vários componentes. Verifique, em primeiro lugar, para ambas as extremidades, a combinação aprovada de switch ou NIC, transceptor, cabo e PHY, bem como o modo de funcionamento FEC esperado. As interfaces elétricas com 100 Gbit/s por lane estão normalizadas; no entanto, isso não implica o suporte automático de todas as variantes de módulos óticos ou de breakout por uma plataforma específica.

Segue-se, em seguida, o percurso passivo: tipo de fibra, face de ligação, percurso do patch, identificação e, no caso da ótica paralela, em particular a Polaridade MPO . A polaridade invertida pode impedir o estabelecimento de uma ligação, enquanto a confusão entre OM3 e OM4 compromete o comprimento de planeamento admissível. O SR4 requer caminhos óticos multimodo e paralelos; por outro lado, o DR1, o FR1 e o LR1 funcionam através de ligações dúplex monomodo. Por isso, uma cassete com aspeto semelhante ou um conector compatível não garante que o tipo de transmissão seja o adequado.

Em caso de taxas de erro elevadas, compare os contadores de erros em ambos os lados e atribua o início dos erros a alterações. Se os valores aumentarem apenas num link, a ótica, as superfícies de encaixe, o percurso de patch e a porta são pontos de verificação óbvios. Se ocorrerem erros em várias ligações do mesmo tipo, devem ser analisados fatores comuns, tais como a configuração FEC, a codificação ótica ou um perfil de plataforma. As especificações documentadas dos transceptores ajudam a comparar o alcance e os requisitos da fibra com a configuração da rede.

Só se deve investigar taxas de dados de aplicação inesperadamente baixas após se ter estabelecido uma ligação física estável. Um único fluxo pode ser limitado pela velocidade do seu percurso, pela distribuição do hash ECMP ou pelo terminal remoto, mesmo que a malha agregada disponha de capacidade livre. Além disso, a ligação PCIe, os controladores NIC, a CPU, os tamanhos dos pacotes, a sobrecarga do protocolo e o desempenho do armazenamento limitam a taxa de transferência de dados úteis. A porta 100GbE é, portanto, um possível gargalo, mas não necessariamente o gargalo determinante.

Avaliar o RoCE e a decisão de expansão

No caso do RDMA sobre Ethernet Convergente, a velocidade da porta não é, por si só, um critério de seleção suficiente. A fonte da NVIDIA aqui utilizada refere-se expressamente ao Cumulus Linux 4.0 e remete, ela própria, para documentação mais recente do produto. Serve, portanto, como prova histórica e específica do produto relativamente aos mecanismos abordados. Os seus comandos e valores-limite não constituem um guia operacional geral e atual para outras plataformas.

Esta documentação distingue o RoCEv1 na camada de segurança do RoCEv2 na Camada 3. No que diz respeito ao RoCEv1, descreve o Controlo de Fluxo por Prioridade (PFC). No que diz respeito ao RoCEv2, menciona a Notificação Explícita de Congestionamento (ECN) para a sinalização de ponta a ponta em redes encaminhadas e, adicionalmente, o Controlo de Fluxo para Ethernet com baixas perdas. No entanto, não é possível deduzir daí nem uma configuração PFC universal atual, nem a transferibilidade das definições históricas do Cumulus Linux 4.0 para outras plataformas.

Para uma expansão específica, verifique a documentação atual das placas de rede (NICs), switches e versões de software utilizadas. Qual é a versão do RoCE prevista, que classes de tráfego serão utilizadas e que mecanismos de controlo de congestionamento são suportados por esta combinação? Defina ainda como serão monitorizados a ocupação das filas, as perdas de pacotes, as marcações ECN e as pausas PFC. Não adote valores-limite históricos nem recomendações de ativação globais sem uma validação específica para a plataforma.

A escolha entre 25, 50, 100, 200 ou 400 GbE depende do perfil de carga, da ligação ao anfitrião e da capacidade residual necessária em caso de falha. O roteiro da Ethernet apresenta as tendências de desenvolvimento tecnológico, incluindo ligações de 100G a 800G e a emergente Ethernet de 1,6 Tbit/s. No entanto, não especifica uma determinada arquitetura «leaf-spine», nem a adequação de uma determinada velocidade para cada classe de servidor. Para tal, continua a ser necessário um planeamento de capacidade específico.

Por fim, distingue entre normas já publicadas, projetos em curso e funcionalidades de produto efetivamente disponíveis. A IEEE lista a norma P802.3dj, na fase atual, como um projeto ativo para 200, 400 e 800 Gbit/s, bem como para 1,6 Tbit/s. Isto não implica qualquer garantia de compatibilidade com o hardware existente. Verifique, para cada percurso de expansão, as portas disponíveis, os componentes óticos, os percursos de fibra, o consumo de energia e os custos operacionais com base nos produtos efetivamente selecionados.