データセンターにおける100 Gbitネットワーク：技術、光学部品、および設計

100GbEを正しく位置づける

100GbEとは、まずMACレベルにおける公称100 Gbit/sのイーサネットポート速度を指します。これによって、特定のコネクタタイプや、規定されたファイバーの種類、レーン配分、あるいは伝送距離が決まるわけではありません。 イーサネットのロードマップでは、100GbEは25、50、200、400およびそれ以上のデータレートと並んで位置づけられています。どのレベルが適切かは、トラフィックプロファイル、ポート密度、および拡張目標によって異なります。

ポートの公称容量は、アプリケーションのスループットと同一視することはできません。イーサネット、IP、およびトランスポートプロトコルのオーバーヘッドにより、利用可能な有効負荷は減少します。さらに、CPU、NICドライバ、PCIe接続、メモリやストレージの性能、および相手側端末によっても制限される可能性があります。 また、競合するデータストリームもポートの帯域幅を共有することになります。 100Gbit/s したがって、これらはインターフェースの特性であり、個々のアプリケーションにおけるデータ転送を保証するものではありません。

たとえば、100GbE NICを搭載したサーバーの場合、ソースまたはターゲットの読み取り・書き込み速度が十分でなければ、大量のデータをコピーする際にポート速度を大幅に下回る可能性があります。 逆に、100Gアップリンクは、個々のホストの速度を自動的に100 Gbit/sまで引き上げるわけではなく、サーバーポッド全体の合計帯域幅を向上させます。したがって、計画立案にあたっては、エンドシステム、データパス、および負荷のピークを総合的に考慮する必要があります。

100GbEは、一概に小さすぎるわけでも大きすぎるわけでもありません。一般的なサーバー接続には25GbEで十分ですが、50GbEはホスト密度を高めるための中間段階となります。 100GbEは、設計に応じて、サーバー、ストレージ、リーフ・アップリンク、あるいは小規模なスパイン層に適しています。 高度に集約されたワークロードの場合、200GbEや400GbEが必要なポート密度を提供できます。公開されているIEEEの論文は、複数のイーサネット速度やPHYのバリエーションを網羅していますが、速度だけではネットワークアーキテクチャの全体像を説明することはできません。

レーン、PHY、および誤り訂正

信頼性の高い判断を下すためには、3つのレベルを個別に検討する必要があります。すなわち、機器内の電気レーン、回線上の光PHY、そしてケーブル、光ファイバー、パッチパネルからなる受動インフラです。 100GbEポートは、内部またはホスト側の電気インターフェースにおいて、複数のレーンを使用することがあります。依然として広く普及している従来のアプローチでは、多くの場合4つの25 Gbit/sレーンが束ねられていますが、新しいインターフェースでは最大100 Gbit/sの電気レーンが規定されています。

レーン数だけでは、光モジュールがどのように伝送を行うかは分かりません。PHYは、並列の光パスを活用することもあれば、1つの波長で100 Gbit/sを伝送することもあります。その結果、ファイバーの種類、コネクタ、パッチ配線に対して異なる要件が生じます。 したがって、適切なデータレートや同じフォームファクタだけでは互換性を証明するには不十分であり、スイッチ、ネットワークカード、トランシーバーが、具体的なPHYのバリエーションに対応している必要があります。

仝 エラー訂正 フォワードエラー訂正（FEC）は、具体的な100G接続の選定および運用開始に際し、PHYおよびプラットフォームのドキュメントに基づいて確認する必要がある機能です。 ポート速度やモジュールのフォームファクタだけでは、普遍的に適用できるFEC設定を導き出すことはできません。重要なのは、両端の機器およびトランシーバーの仕様と、サポートされている動作モードです。

QSFP28フォームファクタは、主に構造や電気的インターフェースのファミリーを規定するものであり、光モジュールやブレイクアウトケーブルの普遍的な互換性を保証するものではありません。ブレイクアウトケーブルを使用するには、ポートモード、レーン割り当て、相手側のプロファイル、および配線がそれに適している必要があります。 したがって、調達および移行に先立ち、モジュール、ケーブル、PHY、FEC、およびブレイクアウトモードについて、各スイッチおよびNICメーカーの承認を必ず照合する必要があります。 IEEE 802.3ckは、レーンあたり最大100 Gbit/sまでの電気的インターフェースを規定していますが、このようなプラットフォーム検証に代わるものではありません。

Leaf-Spineネットワークにおける100G

ルーティングされた リーフ・スパイン・ネットワーク サーバー、ストレージシステム、その他のエンドポイントは、まずリーフスイッチに接続されます。 各リーフは、複数の同等のレイヤー3接続を介してスパインスイッチに接続されています。これにより、異なるリーフ領域にある2台のサーバー間のデータトラフィックは、中央のレイヤー2ネットワークを経由することなく、送信元リーフからスパインを経由して宛先リーフへと流れます。

このアーキテクチャは、東西方向のトラフィック、すなわちデータセンター内におけるアプリケーション、データベース、ストレージ、およびコンピュートノード間の通信を想定して設計されています。レイヤー3アンダーレイは、複数の同等の経路を提供します。 ECMP（Equal-Cost Multi-Path）は、ハッシュアルゴリズムを用いてデータフローをこれらの経路に分散させることができます。これにより、集約された帯域幅を活用できますが、アップリンクの障害発生後も十分な容量が残っているかどうかは、具体的な設計次第となります。

この際、100GbEの役割はポートプロファイルに従います。高密度に配置されたコンピュートサーバーやストレージサーバーでは、ホスト側で100GbEが必要となる場合があります。一方、別のポッドでは、100Gポートが複数の25Gサーバーをリーフ・アップリンクとして集約します。 同様に、100Gリンクは小規模な設計におけるスパイン層を構成することもあります。重要なのは、接続されたホスト容量とアップリンク容量の比率、つまり意図的に計画された オーバーブッキング.

総容量が大きいからといって、個々のデータフローの速度が任意に高速化されるわけではありません。多くの実装において、ECMPはフローを特定のパスに割り当てますが、その速度は当該パスの帯域幅およびエンドシステムによって制限されます。 したがって、ハッシュ値の分布が不均一であったり、ごく少数の非常に大規模なフローが存在したりすると、他のリンクに空き容量があってもボトルネックが発生する可能性があります。そのため、容量計画では、すべてのフローの合計だけでなく、支配的な個々のフローや障害発生時のシナリオも考慮に入れる必要があります。

100G光モジュールとケーブルを比較する

100G接続の選定は、QSFP28の筐体からではなく、伝送経路全体から始める必要があります。 トランシーバーは、ファイバー、光経路、および伝送距離に関する要件を備えた特定のPHYを定義します。したがって、同じフォームファクタであっても、光学的にも電気的にも互いに自動的に適合しない異なる方式を採用している場合があります。

短時間の並列接続には、 100GBASE-SR4 マルチモードファイバーおよび、一般的にMPO-12/MTP-12コネクタ。 4つの光送受信経路があるため、設計段階では極性の設定が重要となる。OM3は最大70 m、OM4は最大100 mまで仕様が定められている。そのため、既存のデュプレックスLC回線は、適切なインフラが整っていない限り、SR4回線として使用することはできない。

DR1、FR1、LR1用のジュニパー製モジュール（仕様書記載）は、シングルモードファイバーとデュプレックスLCコネクタを採用しており、記載されている伝送距離はそれぞれ500 m、2 km、10 kmです。 とはいえ、モジュールのコネクタは具体的な製品仕様であり、メーカーのドキュメントに準拠しています。PHY、光伝送媒体、ファイバー本数、およびモジュールの接続は個別に確認する必要があります。また、コネクタ面、フェルール、スプライス、および余裕分も、減衰バランスの計算に含める必要があります。

「LR」という表記には、特に細心の注意を払う必要があります： LR1 および LR4 いずれもシングルモードファイバー上で最大10 kmの伝送距離を実現しますが、PHYは異なります。LR1は単一の100 Gbit/s波長で動作するのに対し、LR4は別の多波長方式を採用しています。 したがって、同じ2ファイバーSMFインフラストラクチャや、機械的に互換性のある製品バリエーションであっても、光的な相互運用性が保証されるわけではありません。また、具体的なモジュールの接続方式も製品によって異なります。例えば、ドキュメントに記載されているCisco CPAK 100GBASE LR4バリエーションでは、デュプレックスSCが使用されています。

DACやAOCは、短距離の場合に別途検討すべき選択肢です。パッシブまたはアクティブな銅線ケーブル、およびアクティブな光ケーブルについては、「100G」から導き出せるような普遍的な伝送距離のルールは存在しません。 調達に先立ち、両ポート側の互換性マトリックス、具体的なケーブル長、および想定される曲げ半径を確認する必要があります。

容量計算を用いたアップリンクの計画

以下の計算例は、シングルホーミング設計を具体的に説明したものです。48台のホストが、それぞれ合計で1つの25GbEポートを備えています。 24台のホストずつが、2つのリーフのうちの1つに正確に1つずつ接続されています。これにより、リーフ1つあたりの接続ホスト容量は600 Gbit/s、ポッド全体では1,200 Gbit/sとなります。これは容量の計算であり、測定されたアプリケーションスループットではありません。

各リーフには、それぞれ100 Gbit/sのアップリンクが2本割り当てられます。したがって、アップリンク容量はリーフ1台あたり200 Gbit/s、2台のリーフ合計で400 Gbit/sとなります。 各Leafについて、600を200で割ると、想定オーバーブッキング比は3:1となります。この合計値は設置済みのリンク容量を表すものであり、実際に利用可能なスループットは、データストリーム、相手先、およびプロトコルによっても異なります。

単一のアップリンクが障害を起こした場合、影響を受けたリーフには、その600 Gbit/sのホスト接続用に100 Gbit/sが残ります。 そこで、計算上の比率は6:1に上昇します。この意図的に冗長性を設けていないホスト接続モデルにおいて、リーフ全体が故障すると、そのリーフに接続された24台のホストにアクセスできなくなります。したがって、リーフ2台だけでは、各サーバーの耐障害性のある接続を実現することはできません。

デュアルホーミング構成については、別途計算を行う必要があります。25Gポートを2つずつ備えた48台のホストがある場合、物理的な接続帯域幅は2,400 Gbit/sとなります。両方のポートが同時に実トラフィックを処理するのか、それとも片方が予備として機能するのかによって、負荷の想定は変わります。 したがって、各障害シナリオについて、ポート数、アクティブな運用モデル、リーフごとの容量、および希望する余剰容量を文書化してください。

トラフィックの分散も計画の一部です。ECMPは、同等のルーティング経路にフローを分散させます。リンクアグリゲーションは、物理リンクを束ねて1つの論理接続にします。これら2つの手法は、それぞれ個別に評価する必要があります。ハッシュベースの分散では、単一のフローが自動的に総帯域幅のすべてを割り当てられるわけではありません。 計算上の比率に加えて、主要なデータストリーム、バックアップウィンドウ、および予備容量も計画に組み込む必要があります。

MPOからデュプレックスSMFへの移行

SR4環境からDR1またはFR1への移行は、インフラストラクチャプロジェクトであり、自動的に品質が向上するものではありません。SR4はMPO-12/MTP-12を用いた並列マルチモード経路を採用しています。一方、DR1およびFR1はデュプレックス単一モードファイバーを使用しており、 モジュールの接続方式は製品仕様によるものです。ジュニパーの概要資料に記載されているDR1およびFR1モジュールは、デュプレックスLCコネクタを備えています。したがって、既存の配線経路、パッチパネル、および予備容量の状況によって、並行移行と段階的な移行のどちらが適切かが決まります。

まず、実際の通信距離の要件を把握します。DR1は500 m、FR1は2 kmを想定しています。すべての経路が1つの空間内に収まる場合は、既存のSR4配線でも引き続き適切である可能性があります。 経路が定期的にSR4の限界を超える場合や、建物の各セクションを接続する必要がある場合は、適切なPHYを備えたデュプレックスSMFにより、別の設計枠組みが構築されます。

• 各接続ごとに、既存のファイバー経路、ファイバークラス、パッチパネル、およびMPOの極性を記録する。
• 必要な通信距離と、それに適したPHYを決定する。DR1とFR1は、単にコネクタの種類だけで選択してはならない。
• 製品固有のモジュール接続、減衰余裕、接続面、および冗長経路を含む、デュプレックスSMFファイバー経路を計画する。
• 各ポッドについて、将来のポート速度、利用可能なスロット、および移行時期を評価する。
• スイッチ、NIC、トランシーバー、および必要に応じてブレークアウト・オプションについて、具体的に承認された組み合わせとして確認する。

仝 MPOの極性 並列SR4配線の一部が残っている限り、これを独立した確認項目として文書化すべきである。 機械的に適合するアダプタであっても、信号の割り当て、ファイバの本数、または許容される伝送方式に関する疑問が自動的に解消されるわけではありません。したがって、設計上の推奨事項として、パッチ経路を明確に区分し、識別することをお勧めします。すなわち、一方ではMMFを介したSR4、他方ではSMFを介したDR1またはFR1というようにです。

デュプレックスSMFは拡張性を簡素化できるが、一概に「優れている」とは言えない。通信距離と同様に、新規配線にかかるコスト、利用可能な配線経路、運用プロセス、および予想されるポート数の推移も重要な要素となる。 以前の100 Gbit/s PONの分類は、アクセスネットワークのアプローチに関するものであり、データセンター内のイーサネットに対する互換性やアーキテクチャのテンプレートではない。したがって、100GbE PHYと混同してはならない。100 Gbit/s PONの概要

調達に先立ち、双方のスイッチ、ネットワークカード、トランシーバーの具体的な組み合わせを必ず確認する必要があります。その際、サポートされているPHY、FEC仕様、光符号化方式、モジュール接続、および許容されるケーブルについて確認を行います。 この承認を経て初めて、計画されたパッシブ配線が実際にサポートされているアクティブ回線と接続されることになります。単に筐体のサイズが適合しているだけでは不十分です。

検収、テレメトリ、および運用

100GbEリンクの検収は、単一のリンクアップ作業ではなく、追跡可能な現状調査から始まります。各接続について、経路、パッチパネル、コネクタ、ポート名称を含むファイバー経路全体を文書化してください。 使用している光モジュールの種類、ファイバークラス、コネクタの種類、設計伝送距離、および両端で選択されたFEC設定も追加してください。メーカーの製品一覧では、100G光モジュールは伝送距離、ファイバー、伝送方式によって区別されています。これらの記載された製品仕様は、実際の伝送経路と一致している必要があります。

• 両端のリンク状態と相手側の割り当てを確認してください。
• 光モジュールの種類、シリアル番号、ファイバーの種類、および記録されたパッチ経路を照合する。
• FECステータスおよびエラーカウンタを、引き渡し前および定義された監視期間終了後に記録する。
• 冗長経路を的確に追跡し、関連するアラーム設定を確認する。
• エスカレーション連絡先、代替レンズ、および各ポートの最新の互換性承認情報を登録する。

光学ドキュメントに記載されている リーチ 各モジュールのバリエーションとその想定される伝送媒体について記述したものであり、設置されたすべての回線を一括して承認するものではありません。したがって、検収にあたっては、プロジェクト固有の減衰バランスを別途作成することが推奨されます。 そこでは、実際に存在するパッチポイント、コネクタ、スプライス、および予定されている予備容量が記録されます。接続面の清潔さと、経路に関する完全な文書化も運用上の検査要件であり、検収計画書に明示的に規定されるべきです。

運用においては、プラットフォームおよびトランシーバーがこれらの値を提供している限り、監視システムはリンクフラップ、FEC補正済みおよび補正不能なエラー、シンボルエラーまたはPCSエラー、光診断値、ならびに各パスの利用率を捕捉すべきである。 単一のカウンター値だけでは診断にはなりません。重要なのは、傾向、変化の方向性、およびパッチング、光学部品、または構成の変更との時間的な関連性です。異常が検出された場合、運用チームはまず、影響を受けているのが単一のパス、単一の機器、あるいは複数の同種の接続のいずれであるかを確認します。

冗長性を確保するには、2つの論理リンクが存在しているだけでは不十分です。 それらが実際に別々のポート、ファイバー、および（想定されている場合は）別々のパッチ経路を経由しているか、またアラームルールが損失を適時に通知するかどうかを確認してください。物理的な耐障害性およびデータセンターの運用に関する要件は、全体計画に組み込む必要があります。これについては、本記事で詳しく解説しています。 データセンターの立地、セキュリティ、および拡張性に関する基準 その他の枠組み条件。

100Gの障害を体系的に特定する

100Gリンクに障害が発生したり不安定になったりした場合、複数のコンポーネントを即座に交換するよりも、決まった順序で検証を行う方が効率的です。まず、両端において、スイッチまたはNIC、トランシーバー、ケーブル、PHYの承認済み組み合わせと、想定されるFEC動作モードについて検証してください。 1レーンあたり100 Gbit/sの電気インターフェースは標準化されていますが、それによって特定のプラットフォームがすべての光モジュールやブレイクアウトのバリエーションを自動的にサポートするとは限りません。

続いて、パッシブ区間について説明します。繊維の種類、コネクタ面、パッチ経路、ラベル表示、そして並列光ファイバーの場合は特に、 MPOの極性 . 極性が逆になるとリンクが確立できない場合があり、OM3とOM4を混同すると許容設計長に影響を及ぼします。SR4はマルチモードおよび並列光パスを前提としていますが、DR1、FR1、LR1はシングルモード・デュプレックス回線上で動作します。 したがって、外観が似ているカセットや適合するコネクタがあるからといって、伝送方式が互換性があるとは限りません。

エラー率が高くなった場合は、両側のエラーカウンターを比較し、その発生開始時期を変更内容と照らし合わせて確認してください。特定のリンクでのみ値が上昇している場合は、光モジュール、コネクタ面、パッチケーブル、およびポートが有力な点検対象となります。 同じタイプの複数の接続でエラーが発生する場合は、FEC設定、光モジュールの符号化方式、プラットフォームプロファイルなどの共通要因を調査する必要があります。文書化されたトランシーバーの仕様は、伝送距離やファイバーの要件をシステム構成と照らし合わせる上で役立ちます。

予想外に低いアプリケーションデータ転送速度については、物理リンクが安定してから調査を行う。ファブリック全体として空き容量があるにもかかわらず、個々のフローは、そのパス速度、ECMPハッシュの分散、あるいは相手側端末によって制限される場合がある。 さらに、PCIe接続、NICドライバ、CPU、パケットサイズ、プロトコルオーバーヘッド、ストレージ性能も、有効データスループットを制限する要因となります。したがって、100GbEポートはボトルネックとなる可能性はありますが、必ずしも決定的なボトルネックであるとは限りません。

RoCEと拡張の可否を評価する

RDMA over Converged Ethernet において、ポート速度だけでは選択基準として不十分です。 ここで使用されているNVIDIAの資料は、Cumulus Linux 4.0について明示的に記述しており、それ自体もより新しい製品ドキュメントを参照しています。したがって、この資料は、ここで取り上げられているメカニズムに関する、歴史的かつ製品固有の証拠として機能します。そこに記載されているコマンドや制限値は、他のプラットフォーム向けの一般的な最新運用ガイドラインではありません。

このドキュメントでは、セキュリティ層においてRoCEv1とRoCEv2をレイヤー3で分離しています。RoCEv1については、優先度フロー制御（PFC）について説明しています。 RoCEv2については、ルーティングされたネットワーク上でのエンドツーエンドのシグナリングのための明示的輻輳通知（ECN）に加え、低損失イーサネットのためのフロー制御についても言及しています。 しかし、これだけでは、現在の汎用的なPFC設定や、過去のCumulus Linux 4.0の設定を他のプラットフォームに適用できるかどうかは判断できません。

具体的な拡張を行う際は、導入済みのNIC、スイッチ、およびソフトウェアの最新仕様書を確認してください。どのRoCEバージョンが予定されているか、どのトラフィッククラスが使用されるか、そしてこの組み合わせでどの輻輳制御メカニズムがサポートされているかを確認してください。 さらに、キューの占有率、パケット損失、ECNマーキング、およびPFCの休止状態をどのように監視するかを決定してください。プラットフォーム固有の検証を行わずに、過去のしきい値やグローバルな有効化推奨事項をそのまま採用しないでください。

25、50、100、200、または400GbEの選択は、負荷プロファイル、ホスト接続、および障害発生時に必要な予備容量に基づいて行われます。 イーサネットのロードマップは、100G～800G接続や、今後登場が予想される1.6 Tbit/sイーサネットなど、技術的な発展の方向性を示しています。しかし、特定のリーフ・スパイン・アーキテクチャや、各サーバークラスに対する特定の速度の適合性を保証するものではありません。 そのため、個別の容量計画が依然として必要となります。

最後に、公開済みの規格、進行中のプロジェクト、および実際に利用可能な製品機能を区別する必要があります。IEEEは、現時点において、P802.3djを200、400、800 Gbit/sおよび1.6 Tbit/s向けの進行中のプロジェクトとして位置付けています。 ただし、これは既存のハードウェアに対する保証を意味するものではありません。各拡張パスについて、実際に選定された製品に基づき、ポートの対応状況、光モジュール、ファイバー経路、消費電力、および運用コストを確認してください。