800G光トランシーバー

今日は非常に興味深いものがあります。COBTEL を詳しく見てみましょう。COLORZ 800(OSFP112-DR8 高精度光ファイバートランシーバー)。これは長距離です-ZR+ 800G光トランシーバー、標準の OSFP プラガブル フォーム ファクタを使用していますが、500 キロメートル、さらには 1000 キロメートルを超える距離でも 800 Gbps の速度を達成できます。最大 2,500 キロメートルの距離で 400 Gbps 通信をサポートするように構成することもできます。内部を覗いてみましたコブテル研究室は、このコヒーレント光技術がどのように機能するかを理解するために、どのようにしてこれを実現するのかを示したいと考えていました。

現在のデータセンターでは、できる限り銅線ケーブルを使用し、距離が遠い場合は光ファイバーを使用するのが基本となっています。 NVIDIA GB200 NVL72 などの製品を見ると、その最大の革新は、バックエンドで銅線ケーブルを使用して 72 個の GPU とスイッチを相互接続できる機能であることがわかります。

約 3 メートルのケーブル長を超えると、信号の整合性の問題により、高速回線と銅線ケーブルを併用することはできません。-。

通常、銅線ケーブルはラック内および隣接するラックに到達できますが、光トランシーバーを使用すると長距離に到達できます。ただし、落とし穴があります。光トランシーバーは、さまざまなテクノロジーを使用して、さまざまな距離をさまざまな速度で伝送します。

10 Gbps または 100 Gbps で動作する短距離光トランシーバーは、400 Gbps または 800 Gbps で動作する長距離光トランシーバーよりもはるかに安価に製造できます。これは主に技術の複雑さが増しているためです。-

もう 1 つの側面は、モジュールのフォームファクター (モジュールの物理的なサイズと形状) です。光トランシーバー.

CFP- スタイルのフォーム ファクタ モジュールは、通信アプリケーションでより一般的です。データセンターでは、ローエンド アプリケーションには小型の SFP モジュールが使用され、-高速アプリケーションには大型の QSFP および OSFP モジュールが使用される傾向があります。- NVIDIA ConnectX-7 400GbE アダプターなどの一般的な AI インフラストラクチャ NIC でも、OSFP。今日は、COBTEL COLORZ III 800G ZR+ OSFP モジュールについて説明します。 OSFP は、電力、冷却、そしてさらに重要なことに、すべてのコンポーネントを処理するために必要なスペースを備えた、より大きなモジュール標準を提供します。次のようになります。

簡単に言えば、モジュールは一方の側でデバイスから電気信号を受信します。

もう一方の端には、光ファイバー ケーブルが挿入される光送信ポートと受信ポートがあります。

これは単純なことのように聞こえますが、金属ケースの内部では驚くべきことが起こります。電気信号は光信号に変換され、光信号は再び電気信号に変換されます。ほとんどの人が理解できるように、内部で何が起こっているのかを大まかに説明します。

次に、OSFP ケースの内部を見て、それがどのように機能するかを説明します。

光トランシーバ内のコンポーネントの配置が重要であることが実証されています。コンポーネントの配置に 1 ミリメートルのずれがあるだけでも、パフォーマンスに大きな影響を与える可能性があります。-通常、企業はこれらのハイエンド モジュールを分解することを推奨しません。-代わりに、COBTEL の研究室でデモンストレーションを観察しました。これは基本的に、小さな金属製の OSFP 筐体の内部にあるものを拡大したものでした。{6}}

もちろん、このようにレイアウトされた大きな回路基板はネットワーク デバイスには適していません。そのため、もう 1 つの優れた点は、400 Gbps 2500 km または 800 Gbps 1000 km の通信モジュールを作成できるだけでなく、それらを標準のプラグイン可能なフォーム ファクター モジュールにパッケージ化できることです。

このプラットフォームを見て最初に気づくのは、短いDAC（ダイレクトアタッチケーブル）。 800Gbpsの電気信号インターフェースです。

これは開発ボードを反対側から見た図です。

これは、ここで見られるモジュールの電気的側面と考えることができます。

最初の目的地は COBTEL Orion DSP です。これは電気端と光端の間のコンポーネントであり、信号をクリーンアップするために使用されます。

中身をイメージしていただくために、ここに COBTEL Orion DSP と、それが組み込まれている COLORZ III 800G ZR+ モジュールを示します。OSFPモジュール旧世代の COLORZ II (400G) および COLORZ I (100G) プラグイン可能モジュールの上に位置します。

これらの DSP は、非常に限られたスペースと電力バジェット内で重要な処理タスクを処理する必要があるため、優れています。通常の 10Gbps または 25Gbps NIC チップはかなり古いプロセス テクノロジを使用して製造されていますが、これらの DSP は、OSFP モジュールの設置面積内の電力とスペースの制約に対処するために 5nm プロセスを使用して製造されています。

DSP から始まって、送信信号は CDM (コヒレント ドライバー モジュール) にルーティングされます。CDM (コヒレント ドライバー モジュール) は、以下の 2 つの金/真鍮ボックスのうち小さい方で、単一のファイバーが接続されています。

簡潔にするために、PIC がどのように動作するかについては詳しく説明しませんが、その小さなボックスには、レーザー光源、変調器、その他のコンポーネントを使用して電気信号を光信号に変換するために必要なコンポーネントが収められています。ボックスの一端で電気信号を入力し、もう一端でファイバー束に光を出力します。これがこのデモボードの送信端です。

この時点で、左側の少し大きなボックスが、ICR (Integrated Coherent Receiver) として知られる受信側であると推測したかもしれません。シングルモード LC ケーブルと光学系を頻繁に使用する場合は、受信側に 2 本のファイバー ケーブルがあることにすぐに気づくでしょう。このテクノロジーは、直接検出 (「光があるかどうか」タイプの分析) のみを実行する低コストかつ低速の光学系よりも若干複雑です。-

回路基板上には受信端ファイバーがあるだけでなく、ICR に 2 番目の信号を供給する局部発振器もあります。位相比較のための基準信号とお考えください。 ICR の内部には 90 度ハイブリッドがあり、特に位相と振幅情報の維持に役立つ受動コンポーネントです。 ICR には、光信号を受信し、もう一方の端で電気出力を生成するための光検出器も装備されています。通常、電気信号は弱いため、TIA (トランスインピーダンス アンプ) を使用して、光検出器からの微弱な電流を測定可能な電圧に変換します。電気側のアンプと考えてください。

通常、これらのコンポーネントには冷却も必要なため、リファレンス ボードは次のようになります。

基準レーザー光源でも冷却用のヒートシンクが必要です。なんとか研究室に入ることができたと言えば、これが本当の研究室の設定であることは明らかです。

次に、ICR からの電気信号を電気側の Orion DSP に供給できます。

これにより、電気領域と光学領域の両方をカバーする信号処理の完全なサイクルが完了します。

この開発プラットフォームの各側面は、最終的には OSFP フォーム ファクター内でパッケージ化され、熱管理されることに注意することが重要です。

ハードウェア以外に、基準レーザー信号の必要性と、直接検出とコヒーレント検出の違いについて簡単に説明します。

この記事の一環として、私のアイデアの 1 つは、ローエンド、低コストの光デバイスで一般的に使用される直接検出とコヒーレント検出の違いを調査することです。{0}}

数学や物理学をさらに深く掘り下げる必要がある人は、これについてはすでによく知っているかもしれません。多くの信号検出方法は、信号が存在するかどうかという単純な問題に焦点を当てています。非常に基本的な 10Gbps モジュールでは、これは「光があるかどうか」ということとして捉えることができます。これは、多くのかなり単純な 2D 方法だけでなく、より複雑なエンコード スキームを通じても表現できます。ラボでは、以下に示すようなアイ ダイアグラム-信号品質のグラフィック表現-をよく目にします（インテルの 2019 年シリコン フォトニクス部門のもの。インテルは同年に売却したものです）。

コヒーレント検出は、光を使用したより高度な技術を可能にするため、はるかに複雑です。光の存在を検出するだけでなく、信号の「コンスタレーション」を観察することもできます。どちらの図も X 偏光と Y 偏光を表示しており、16 個の可能なコンスタレーションが得られます。

このため、ローカル発振器のリファレンスを用意することが重要です。より複雑なエンコーディングの場合は、そのリファレンスによって提供される追加情報が必要です。

直接検出とコヒーレント検出の違いに興味がある場合は、このテーマに関する詳細な論文がたくさんあります。 STH ビューアにとって重要なのは、800G ZR+ OSFP モジュールはわずかに大きい 100G SR4 QSFP28 モジュールのように見えるかもしれませんが、その内部は大きく異なるということです。

したがって、大きな疑問は、「なぜこれが重要なのか?」ということです。理由は単純で、データセンターを複数の地域に展開すると、コストと復元力の面で有利になる可能性があるからです。スイッチから 1,000 キロメートル以上離れたデータセンターに直接接続することで、組織はより多くのインフラストラクチャを低コストで安定した場所でホストできるようになります。-さらに、地理的に離れたキャンパスが 2 つある場合、それらを 400 Gbps から 800 Gbps の帯域幅でリンクすると、大きな変革が起こる可能性があります。-

しかし実際には、今日のプラガブル オプティクスの最大の推進力の 1 つは、AI データ センターの建設です。この構造は電力の利用可能性に制約があるため、データセンター運営者は電力の確保に重点を置いています。計画には、既存の発電所の隣に大規模なデータセンターを建設すること、データセンター用の新しい電源を作成することなどが含まれます。伝送損失を最小限に抑えると、コンピューティングに利用できる電力を最大化できます。課題は、クラスターが非常に多くの電力を必要とするため、単一のサイトに依存することはもはや現実的ではない可能性があることです。

コンピューティングを 1 つのキャンパスに集中させるのではなく、複数のデータセンターを電源の近くに配置するというアイデアをよく耳にします。興味深いことに、これは 2010 年代半ばから後半にかけて多くの仮想通貨マイナーが模索していたものでもあります。--違いは、マイニング ファームでは高帯域幅、低レイテンシの相互アクセスが必要ないのに対し、AI クラスタでは必要であるという点です。{6}

この考え方は、利用可能な電源の近くの複数のサイトにまたがって大規模なクラスタを構築すると、送電損失とコストを節約でき、さらに簡単になる可能性があるということです。-組織は、ライセンスを取得して大規模な電源を構築する代わりに、ダーク ファイバ-未使用の光ファイバ ケーブル-を点灯したり、追加のファイバを敷設して複数の小規模な電源でクラスタをブリッジしたりできます。

したがって、簡単な答えは、これらのモジュールを使用すると、組織が (専用の DCI ボックスではなく) 一般的なプラガブル光トランシーバを使用して、比較的安価で簡単な方法で長距離にわたる高速リンクを確立できるようになるということです。さらに興味深いのは、AI リソースの大規模な地理的分散の可能性です。-

プラグ可能モジュールは、多くの場合、単純な金属シェルとして表示されます。この観点から見ると、なぜ一方が他方より複雑なのかを説明するのは困難です。

ハイエンド モジュールの内部を調べることで、これらのプラグイン可能な光学系の複雑さをより深く理解できます。{0}私たちは、800G ZR+ 光トランシーバーとは大きく異なる、シンプルで低コストの 100G SR4 光トランシーバーを検討しました。-その理由は、見た目は似ていますが、COLORZ III モジュールは 10,000 倍の距離にわたって 8 倍の速度でデータを送信できるためです。だからこそ、最初にデモを見たときに「すごくクールなデモだ」と思ったのかもしれません。

前の説明から、100G QSFP28 DAC と 100G SR4 QSFP28 光トランシーバーも分解したことに気付いた人もいるかもしれません。モジュールの内部に何があるかを示すことが重要であると考えているため、この記事では DAC ケースの内部に何があるかを明らかにします。

これから開こうとしているケーブルには、Intel DAC というラベルが付いています。これはかなり典型的なものですQSFP DAC、一方の端に電気コネクタ、もう一方の端にケーブルが付いています。

筐体を開けるのはとても簡単です。このケースのように、単純なネジを使用してそれらを固定するケースもあります。他の人は、より困難な接続方法を使用しています。--自分で筐体を開ける場合は、ネジが締めやすいものを使用することをお勧めします。また、QSFP28 の固定機構には通常、バネが使用されていることに注意してください。これらのケーシングを開けると、バネがケーシングから飛び出す可能性があることはよく知られています。

筐体内部を見ると、PCB が非常にシンプルであることがわかります。実際、QSFP28 コネクタとケーブルの内部ワイヤの間に多くの痕跡が見られます。

 

モジュールには太いシールド線があり、DAC と同じ長さです。各ワイヤには番号が付いているので、製造に役立ちます。接続部とワイヤの端は樹脂またはエポキシでコーティングされ、PCB のはんだ点に固定されます。次に、銅テープと、湾曲したサポートを備えたフレキシブル ケーブル出口を用意します。両面は非常によく似ています。

参考までに、低コスト QSFP28 100G SR4 DAC の内部、特に PIC (光集積回路) 側は次のとおりです。光ファイバーの位置合わせはより正確である必要があり、光子と回路のインターフェースは DAC の内部構造よりもはるかに複雑です。{4}}

ほとんどの人は DAC の内部を覗く必要はありません。これらはプラグアンドプレイで使用できるように設計されており、メンテナンスは必要ありません。--それでも、ケーシングの一端を開いて、これらのケーブルがどのように機能するかを示す価値はあると考えます。少なくとも、これらは受動的なケーブルであることを指摘しておく必要があります。 AEC (アクティブ電気ケーブル) には、信号品質の向上に役立つアクティブ リタイミング チップがケーブル コネクタに組み込まれており、高速信号が銅線を介してさらに伝送できるようになります。{6}} AEC はより複雑で、多くの電力を消費し、コストがかかります。-とはいえ、DAC 設計のシンプルさに関しては、これらの写真を見ていただければ幸いです。