Сети 100 Гбит в центре обработки данных: техника, оптика и проектирование

Правильное понимание 100GbE

100GbE в первую очередь обозначает номинальную скорость порта Ethernet 100 Гбит/с на уровне MAC. Это не подразумевает ни определённого типа разъёма, ни конкретного вида оптоволокна, ни распределения линий, ни расстояния передачи. В дорожной карте Ethernet 100GbE по-прежнему относится к категории скоростей передачи данных наряду с 25, 50, 200, 400 и более высокими скоростями; выбор подходящего уровня зависит от профиля трафика, плотности портов и целей расширения сети.

Номинальную пропускную способность порта не следует приравнивать к пропускной способности приложения. Накладные расходы протоколов Ethernet, IP и транспортных протоколов уменьшают доступную полезную нагрузку; кроме того, ограничивающими факторами могут выступать производительность ЦП, драйвера сетевой карты, интерфейс PCIe, памяти или системы хранения данных, а также удаленная сторона. Кроме того, конкурирующие потоки данных также делят между собой пропускную способность порта. 100 Гбит/с поэтому являются свойством интерфейса, а не гарантией передачи данных отдельным приложением.

Например, сервер с сетевой картой 100GbE может работать со скоростью, значительно ниже скорости порта, при копировании больших объемов данных, если источник или цель не обеспечивают достаточно высокую скорость чтения или записи. И наоборот, канал связи 100G увеличивает совокупную пропускную способность серверного модуля, не обеспечивая при этом автоматического повышения скорости каждого отдельного хоста до 100 Гбит/с. Поэтому при планировании необходимо комплексно учитывать конечные системы, пути передачи данных и пиковые нагрузки.

100GbE нельзя однозначно назвать слишком малым или слишком большим. 25GbE может быть достаточно для обычных подключений серверов, тогда как 50GbE служит промежуточным этапом для более высокой плотности хостов. В зависимости от архитектуры 100GbE подходит для серверов, систем хранения данных, листьевых восходящих каналов или небольших уровней «spine». При сильно агрегированных рабочих нагрузках 200 или 400GbE могут обеспечить необходимую плотность портов. Опубликованные документы IEEE охватывают несколько скоростей Ethernet и вариантов физического уровня (PHY); однако одна только скорость не определяет полную архитектуру сети.

Каналы, физические уровни и коррекция ошибок

Для принятия обоснованных решений необходимо отдельно проанализировать три уровня: электрические линии связи внутри устройства, оптический PHY на линии и пассивную инфраструктуру, состоящую из кабелей, волокон и патч-панелей. Порт 100GbE может использовать несколько линий передачи как внутри устройства, так и на электрическом интерфейсе хоста. В более старых, но по-прежнему широко распространённых решениях часто объединяются четыре линии передачи по 25 Гбит/с; в более новых интерфейсах предусмотрены электрические линии передачи со скоростью до 100 Гбит/с.

Число линий ещё не говорит о том, как именно осуществляется передача данных в оптическом модуле. Устройство PHY может использовать параллельные оптические пути или передавать данные со скоростью 100 Гбит/с на одной длине волны. Отсюда вытекают различные требования к типу волокна, разъёмам и маршрутам соединений. Таким образом, соответствующая скорость передачи данных и одинаковый форм-фактор не являются достаточным доказательством совместимости: коммутатор, сетевая карта и трансивер должны поддерживать конкретную версию PHY.

Die Исправление ошибок Коррекция ошибок с опережением (FEC) — это характеристика, которую необходимо проверять при выборе и вводе в эксплуатацию конкретного соединения 100G на основании документации по физическому уровню (PHY) и платформе. На основании одной только скорости порта или форм-фактора модуля невозможно определить универсальную настройку FEC. Решающее значение имеют технические характеристики и поддерживаемые режимы работы устройств и трансиверов на обоих концах линии.

Форм-фактор QSFP28 в первую очередь определяет конструкцию и семейство электрических интерфейсов, но не предполагает универсальной взаимозаменяемости оптических модулей или разветвительных кабелей. Использование разветвительного кабеля предполагает, что режим порта, распределение линий, профиль удаленного устройства и кабельная разводка соответствуют требованиям. Поэтому перед закупкой и миграцией необходимо обязательно согласовать с соответствующими производителями коммутаторов и сетевых карт (NIC) требования к модулю, кабелю, PHY, FEC и режиму разветвления. Стандарт IEEE 802.3ck описывает электрические интерфейсы со скоростью до 100 Гбит/с на канал, но не заменяет такую проверку платформы.

100G в сети Leaf-Spine

В маршрутизированном Сеть «лист-позвоночник» Серверы, системы хранения данных и другие конечные устройства сначала подключаются к листьевым коммутаторам. Каждый Leaf подключается к Spine-коммутаторам через несколько равнозначных соединений уровня 3. Таким образом, трафик между двумя серверами, находящимися в разных областях Leaf, проходит от исходного Leaf через Spine к целевому Leaf, вместо того чтобы проходить через центральную сеть уровня 2.

Эта структура рассчитана на трафик «восток-запад», то есть на обмен данными внутри центра обработки данных между приложениями, базами данных, системами хранения и вычислительными узлами. Подлежащий уровень (Layer 3) предоставляет несколько равноценных путей. Технология ECMP (Equal-Cost Multi-Path) позволяет распределять потоки данных по этим путям с помощью алгоритма хеширования. Таким образом, можно использовать совокупную пропускную способность; однако наличие достаточной пропускной способности после сбоя восходящего канала зависит от конкретных параметров проектирования.

При этом роль 100GbE определяется профилем порта. Плотно укомплектованный вычислительный или хранилищный сервер может нуждаться в 100GbE на уровне хоста; в другом под 100G-порты объединяют несколько 25G-серверов в качестве листьевых восходящих каналов. Аналогичным образом, каналы 100G могут формировать уровень «spine» в более компактной архитектуре. Решающее значение имеет соотношение между подключённой ёмкостью хостов и ёмкостью каналов связи, то есть целенаправленно спланированное Перебронирование.

Высокая общая пропускная способность не позволяет произвольно ускорять отдельный поток данных. Во многих реализациях ECMP присваивает потоку определённый путь, скорость которого ограничивается пропускной способностью этого пути и конечных систем. Поэтому неравномерно распределенные хеш-значения или небольшое количество очень крупных потоков могут приводить к возникновению узких мест, несмотря на наличие свободной пропускной способности на других каналах. Следовательно, при планировании пропускной способности необходимо учитывать как сумму всех потоков, так и доминирующие отдельные потоки, а также сценарии сбоев.

Сравнить оптические компоненты и кабели 100G

Выбор соединения 100G начинается не с корпуса QSFP28, а с полного тракта передачи. Трансивер определяет конкретный уровень физического интерфейса (PHY) с требованиями к оптоволокну, оптическим трактам и дальности связи. Поэтому один и тот же форм-фактор может поддерживать различные технологии, которые не всегда автоматически совместимы друг с другом ни в оптическом, ни в электрическом плане.

Для коротких параллельных соединений используется 100GBASE-SR4 Многомодовое волокно и, как правило, разъемы MPO-12/MTP-12. Четыре оптических канала передачи и приёма делают правильный выбор полярности неотъемлемой частью проектирования. Спецификации OM3 предусматривают длину до 70 м, а OM4 — до 100 м; поэтому имеющиеся дуплексные LC-линии не могут использоваться в качестве участков SR4 без соответствующей инфраструктуры.

В документации к модулям Juniper для DR1, FR1 и LR1 указано, что они используют одномодовое волокно и дуплексный разъем LC; указанные дальности составляют 500 м, 2 км и 10 км. Тем не менее разъем модуля является конкретной характеристикой изделия и соответствует документации производителя. PHY, оптическая среда, количество волокон и разъем модуля должны проверяться отдельно. Контактные поверхности, соединители, сварные соединения и запасы также должны учитываться в балансе затухания.

Особое внимание следует уделить обозначению LR: LR1 и LR4 Хотя оба стандарта обеспечивают дальность передачи до 10 км по одномодовому волокну, они представляют собой разные физические уровни (PHY). LR1 работает с одной длиной волны 100 Гбит/с, тогда как LR4 использует другую многоволновую технологию. Поэтому наличие одной и той же двухволоконной SMF-инфраструктуры и механически совместимых вариантов продуктов не гарантирует оптической совместимости. Конкретный разъем модуля также зависит от продукта; например, в документации к варианту Cisco CPAK 100GBASE-LR4 указан разъем Duplex-SC.

DAC и AOC — это отдельный выбор для коротких расстояний. Для пассивных или активных медных кабелей и активных оптических кабелей не существует универсального правила, определяющего дальность, которое можно было бы вывести из понятия „100G“. Перед закупкой необходимо проверить матрицу совместимости обеих сторон порта, а также конкретную длину кабеля и предусмотренный радиус изгиба.

Планирование каналов восходящей связи с учетом пропускной способности

Приведенный ниже наглядный расчетный пример конкретно описывает архитектуру с одним подключением (single-homing): 48 хостов, каждый из которых имеет по одному порту 25GbE. По 24 хоста подключены к одному из двух листов. Таким образом, пропускная способность подключенных хостов составляет 600 Гбит/с на каждый лист и 1 200 Гбит/с во всём под. Речь идёт о расчёте пропускной способности, а не об измеренной пропускной способности приложений.

Каждый Leaf получает два канала связи со скоростью 100 Гбит/с каждый. Таким образом, пропускная способность каналов связи составляет 200 Гбит/с на каждый Leaf и 400 Гбит/с на оба Leaf. Для каждого модуля Leaf 600, деленное на 200, даёт предполагаемый коэффициент перегрузки 3:1. Эта сумма отражает установленную пропускную способность каналов; фактическая пропускная способность дополнительно зависит от потоков данных, удалённых узлов и протоколов.

В случае выхода из строя одного канала восходящей связи на затронутом лифе остается 100 Гбит/с для его хост-портов общей пропускной способностью 600 Гбит/с. Расчетное соотношение в этом случае возрастает до 6:1. Сбой всего «листа» в этой намеренно нередундантной модели подключения хостов делает недоступными все 24 хоста. Поэтому два «листа» сами по себе ещё не обеспечивают отказоустойчивое подключение каждого сервера.

Конфигурация с двойным подключением (Dual-Homing) требует отдельного расчета. При наличии 48 хостов, каждый из которых имеет по два порта 25G, физическая пропускная способность составляет 2 400 Гбит/с. То, передают ли оба порта полезный трафик одновременно или один из них используется в качестве резервного, влияет на расчетные значения нагрузки. Поэтому необходимо задокументировать количество портов, активную модель работы, пропускную способность каждого узла Leaf и требуемую резервную пропускную способность для каждого рассматриваемого сценария отказа.

Распределение трафика также входит в сферу планирования. ECMP распределяет потоки по равноценным маршрутизированным путям; агрегация каналов объединяет физические каналы в одно логическое соединение. Оба метода следует оценивать отдельно. При распределении на основе хеширования отдельный поток не получает автоматически всю суммарную пропускную способность. Планируйте доминирующие потоки данных, окна резервного копирования и резервы в дополнение к расчётной пропорции.

Переход с MPO на дуплексный SMF

Переход с среды SR4 на DR1 или FR1 — это инфраструктурный проект, а не автоматическое повышение качества. SR4 использует параллельные многомодовые трассы с разъемами MPO-12/MTP-12. DR1 и FR1, напротив, используют дуплексные одномодовые волокна; подключение модуля является характеристикой продукта. Модули DR1 и FR1, описанные в обзоре Juniper, оснащены дуплексными разъемами LC. Поэтому наличие трасс, патч-панелей и резервов определяет, что целесообразнее: параллельная миграция или поэтапный переход.

Сначала определяется фактическая потребность в дальности: DR1 рассчитан на 500 м, FR1 — на 2 км. Если все трассы находятся в пределах одного помещения, то для них по-прежнему может быть целесообразно использовать кабельную разводку SR4. Если трассы регулярно выходят за пределы SR4 или необходимо соединить отдельные участки здания, дуплексный SMF с подходящим физическим уровнем (PHY) создает иные условия для проектирования.

• Задокументировать существующие трассы волокон, класс волокон, патч-панели и полярность MPO для каждого соединения.
• Определить необходимый радиус действия и подходящий для него физический уровень (PHY); не выбирать DR1 и FR1, ориентируясь только на тип разъема.
• Планировать трассы дуплексных SMF-волокон, включая специфические для продукта разъёмы модулей, запас по затуханию, плоскости соединения и резервные маршруты.
• Оценить будущие скорости портов, доступные слоты и сроки перехода для каждого подсистемы.
• Проверить, что коммутатор, сетевая карта, приемопередатчик и, при необходимости, опции разветвителей соответствуют конкретно утвержденной комбинации.

Die Полярность MPO должно быть зафиксировано в документации в качестве отдельного контрольного пункта до тех пор, пока сохраняются участки параллельной кабельной разводки SR4. Механически подходящий адаптер не даёт автоматического ответа на вопросы о сопоставлении сигналов, количестве волокон или допустимом способе передачи. Поэтому в качестве рекомендации при проектировании целесообразно чётко разделить и маркировать пути соединения: SR4 через MMF, с одной стороны, и DR1 или FR1 через SMF, с другой.

Duplex-SMF может упростить пути расширения, но не является „лучшим“ во всех случаях. Затраты на прокладку новой кабельной сети, доступные трассы, эксплуатационные процессы и ожидаемое развитие портов имеют не меньшее значение, чем дальность действия. Ранее данная классификация 100-Гбит/с PON относилась к подходу к построению сетей доступа и не являлась шаблоном совместимости или архитектуры для Ethernet в центре обработки данных; поэтому её не следует путать с физическими слоями 100GbE.Обзор технологии PON со скоростью 100 Гбит/с

Перед закупкой обязательно необходимо проверить конкретное сочетание коммутатора, сетевой карты и трансивера с обеих сторон. При этом проверяются поддерживаемые физические уровни (PHY), требования к FEC, кодирование оптического сигнала, разъёмы модулей и допустимые кабели. Только после получения такого разрешения планируемая пассивная кабельная разводка может быть соединена с фактически поддерживаемым активным участком; одного только подходящего формата корпуса недостаточно.

Приемка, телеметрия и эксплуатация

Приемка канала 100GbE начинается с тщательного обследования существующей инфраструктуры, а не с однократного подключения. Для каждого соединения необходимо задокументировать полный маршрут прокладки оптоволокна, включая трассу, патч-панели, разъемы и обозначения портов. Укажите тип используемого оптического модуля, класс волокна, тип разъема, номинальную дальность, а также настройки FEC, выбранные на обоих концах. В обзорах производителей оптические модули 100G различаются по дальности, типу волокна и методу передачи данных; указанные в спецификациях продукта параметры должны соответствовать реальной трассе.

• Проверить состояние соединения и сопоставление абонентов на обоих концах линии.
• Сверьте тип оптического модуля, серийный номер, тип волокна и задокументированный маршрут соединения.
• Зафиксировать состояние FEC, а также счетчик ошибок до передачи данных и по истечении заданного периода наблюдения.
• Целенаправленно проследить пути резервирования и проверить соответствующую систему оповещения.
• Укажите контактное лицо для решения сложных вопросов, запасную оптику и актуальное подтверждение совместимости для соответствующего порта.

Указанная в оптической документации Достичь описывает конкретный вариант модуля и предусмотренную для него среду передачи; она не является общим разрешением на эксплуатацию всех установленных линий. Поэтому для приемки рекомендуется дополнительно составить баланс затухания с учетом особенностей конкретного проекта. В нём фиксируются фактически имеющиеся точки подключения, соединители, сращивания и предусмотренные резервы. Чистота контактных поверхностей и полная документация по прокладке также являются эксплуатационными требованиями к проверке и должны быть прямо зафиксированы в плане приёмки.

В процессе эксплуатации системы мониторинга должны регистрировать Link-Flaps, ошибки с FEC-коррекцией и без неё, символьные или PCS-ошибки, показатели оптической диагностики, а также загрузку по каждому каналу, если платформа и трансивер предоставляют эти данные. Однократное значение счетчика ещё не является диагнозом: решающее значение имеют тенденция, направление и временная привязка к изменениям в патч-панелях, оптике или конфигурации. При обнаружении отклонений эксплуатационная команда сначала выясняет, затронут ли только один канал, одно устройство или несколько однотипных соединений.

Для обеспечения избыточности недостаточно просто наличия двух логических каналов связи. Проверьте, действительно ли они проходят через отдельные порты, волокна и — если это предусмотрено — отдельные пути подключения, а также сообщают ли правила сигнализации о потере связи своевременно. Требования к физической отказоустойчивости и эксплуатации центра обработки данных должны быть включены в общее планирование; об этом рассказывается в данной статье Критерии выбора места расположения, безопасности и масштабируемости центра обработки данных дополнительные рамочные условия.

Систематическое выявление неисправностей 100G

В случае сбоя или нестабильной работы канала 100G фиксированная последовательность проверок оказывается более эффективной, чем немедленная замена нескольких компонентов. Сначала проверьте для обоих концов утвержденную комбинацию из коммутатора или сетевой карты, трансивера, кабеля и PHY, а также ожидаемый режим работы FEC. Электрические интерфейсы со скоростью 100 Гбит/с на канал стандартизированы, однако из этого не следует, что конкретная платформа автоматически поддерживает каждый вариант оптического модуля или разветвителя.

Далее следует пассивный участок: тип волокна, разъемная поверхность, маршрут соединения, маркировка и, в случае параллельной оптики, в частности, Полярность MPO . Неправильная полярность может помешать установке соединения, тогда как путаница между OM3 и OM4 ограничивает допустимую длину трассы. SR4 предполагает использование многомодовых и параллельных оптических трасс; в то же время DR1, FR1 и LR1 работают через одномодовые дуплексные линии. Поэтому внешнее сходство кассеты или совместимого разъема не гарантирует, что тип передачи данных совпадает.

При повышенной частоте ошибок сравните счетчики ошибок на обоих концах линии и свяжите их появление с внесенными изменениями. Если значения растут только на одном канале связи, следует проверить оптику, контактные поверхности, патч-кабель и порт. Если ошибки возникают на нескольких соединениях одного типа, необходимо изучить общие факторы, такие как настройки FEC, кодирование оптического модуля или профиль платформы. Документированные технические характеристики приемопередатчиков помогают сопоставить дальность передачи и требования к волокну с конфигурацией системы.

Неожиданно низкие скорости передачи данных приложений следует анализировать только после обеспечения стабильного физического соединения. Скорость отдельного потока может быть ограничена скоростью маршрута, распределением хэшей ECMP или противоположной стороной, даже если совокупная фабрика имеет свободную пропускную способность. Кроме того, пропускную способность полезных данных ограничивают подключение PCIe, драйверы сетевых карт, процессор, размер пакетов, накладные расходы протокола и производительность системы хранения данных. Таким образом, порт 100GbE является одним из возможных, но не обязательно определяющим узким местом.

Оценка показателя RoCE и решения о расширении

В случае RDMA over Converged Ethernet скорость порта не является достаточным критерием выбора. Использованный здесь источник от NVIDIA прямо описывает Cumulus Linux 4.0 и содержит ссылки на более новую документацию по продукту. Поэтому он служит историческим, привязанным к конкретному продукту подтверждением рассматриваемых механизмов. Содержащиеся в нём команды и предельные значения не являются общим актуальным руководством по эксплуатации для других платформ.

В данной документации RoCEv1 на уровне безопасности отделено от RoCEv2 на уровне 3-го слоя. Для RoCEv1 в ней описывается механизм управления приоритетом потоков (PFC). Для RoCEv2 в ней упоминается явное уведомление о перегрузке (ECN) для сквозной сигнализации через маршрутизируемые сети, а также управление потоками для Ethernet с низким уровнем потерь. Однако из этого нельзя сделать вывод ни об актуальной универсальной конфигурации PFC, ни о возможности переноса исторических настроек Cumulus Linux 4.0 на другие платформы.

Для конкретной конфигурации проверьте актуальную документацию по используемым сетевым картам, коммутаторам и версиям программного обеспечения. Какая версия RoCE предусмотрена, какие классы трафика используются и какие механизмы управления заторами поддерживает данная комбинация? Кроме того, определите, как будет осуществляться мониторинг загрузки очередей, потерь пакетов, пометок ECN и пауз PFC. Не применяйте исторические пороговые значения или общие рекомендации по активации без проверки на конкретной платформе.

Выбор между 25, 50, 100, 200 или 400GbE зависит от профиля нагрузки, способа подключения к хосту и необходимой резервной пропускной способности на случай сбоя. Дорожная карта Ethernet отражает направления технологического развития, в том числе соединения 100G–800G и появляющийся Ethernet со скоростью 1,6 Тбит/с. Однако она не определяет ни конкретную архитектуру «leaf-spine», ни пригодность той или иной скорости для каждого класса серверов. Для этого по-прежнему требуется отдельное планирование пропускной способности.

В заключение следует проводить различие между уже опубликованными стандартами, текущими проектами и конкретными доступными функциями продуктов. На данный момент IEEE ведет проект P802.3dj как активный проект для скоростей 200, 400 и 800 Гбит/с, а также 1,6 Тбит/с. Это не означает гарантии совместимости с имеющимся оборудованием. Для каждого варианта расширения проверьте доступность портов, оптических модулей, волоконно-оптических трасс, энергопотребление и эксплуатационные затраты с учетом фактически выбранных продуктов.