800gの光トランシーバー

今日、私たちは非常に興味深いものを持っています：Cobtel Colorz800を詳しく見る。これは長距離Zr + 800 gです光トランシーバー、標準のOSFPプラグ可能なフォームファクターを使用しますが、500キロメートルまたは1000キロメートル以上の距離で800gbpsの速度を達成できます。最大2500キロメートルの距離で400gbps通信をサポートするように構成することもできます。内部を見ましたコブテルこのコヒーレント光学技術がどのように機能し、これを達成する方法を示したいと思っていたラボ。

現在、データセンターのルールは基本的に次のとおりです。可能な限り銅ケーブルを使用し、距離が遠すぎる場合は光ファイバーを使用します。 NVIDIA GB200 NVL72のような製品を見ると、その最大のイノベーションは、バックエンドで銅ケーブルを使用して72 GPUとスイッチを相互接続する能力であることがわかります。

約3メートルのケーブルの長さを超えて、信号の整合性の問題のために高速ラインと銅ケーブルを一緒に使用することはできません。

銅ケーブルは通常、ラック内および隣接するラック内および隣接するラックに到達できますが、光学トランシーバーを使用してより長い距離に渡ることができます。しかし、キャッチがあります。光トランシーバーは、異なる技術を使用して、異なる速度で異なる距離にまたがっています。

10Gbpsまたは100Gbpsで動作する短距離光学トランシーバーは、主にテクノロジーの複雑さが増加しているため、400gbpsまたは800gbpsで動作する長距離光学トランシーバーよりも製造よりもはるかに安価です。

別の側面は、フォームファクター（モジュールの物理サイズと形状）です光トランシーバー.

CFPスタイルのフォームファクターモジュールは、通信アプリケーションでより一般的です。データセンターでは、ローエンドアプリケーション用の小さなSFPモジュールと、高速アプリケーション用のより大きなQSFPおよびOSFPモジュールが表示される傾向があります。 nvidia connectx -7 400 gbeアダプターのような一般的なAIインフラストラクチャNICSでさえ、使用してくださいOSFP。今日は、Cobtel Colorz III 800g ZR+ OSFPモジュールについて説明しています。 OSFPは、電源、冷却、さらに重要なことに、すべてのコンポーネントを処理するために必要なスペースを備えたより大きなモジュール標準を提供します。このように見えます：

簡単に言えば、片側に、モジュールはデバイスから電気信号を受信します。

一方、光学的なオプティックケーブルが挿入される光学送信と受信ポートがあります。

これはシンプルに聞こえますが、金属ケーシング内で驚くべきことが起こります。電気信号は光信号に変換され、光信号は電気信号に戻されます。ほとんどの人が理解できるように、高レベルで何が起こるかを説明します。

次に、OSFPケーシングの内部を見て、それがどのように機能するかを説明します。

光トランシーバー内のコンポーネントの配置が重要であることが実証されています。コンポーネントの配置における1ミリメートル偏差でさえ、パフォーマンスに大きな影響を与える可能性があります。通常、企業はこれらのハイエンドモジュールを分解することを阻止します。代わりに、Cobtelのラボでデモンストレーションを観察しました。これは、本質的にその小さな金属OSFPエンクロージャーの内部にあるものの吹き飛ばされたバージョンでした。

もちろん、このようにレイアウトされた大きな回路基板は、ネットワーキングデバイスには適していないため、もう1つの印象的な側面は、400gbps 2500kmまたは800gbps 1000kmの通信モジュールを作成する能力だけでなく、標準的なプラグ可能なフォームファクターモジュールにパッケージ化することです。

このプラットフォームを見ると、最初に気付くのは短いDAC（直接接続ケーブル）です。これは、800gbpsの電気信号インターフェイスです。

これは、反対側からの開発委員会の見解です。

これは、ここに表示されるモジュールの電気側と考えることができます。

最初の停留所は、コブテルオリオンDSPを通ることです。これは、信号のクリーンアップに使用される電気端と光学端の間のコンポーネントです。

内部の感覚を示すために、Cobtel Orion DSPとColorz III 800g Zr+モジュールが搭載されています。

これらのDSPは、非常に制約されたスペースと電力予算内で重要な処理タスクを処理する必要があるため、印象的です。通常の10Gbpsまたは25GbpsのNICチップは、非常に古いプロセステクノロジーを使用して作成されますが、これらのDSPは5nmプロセスを使用して製造され、OSFPモジュールフットプリント内の電源と空間の制約を処理します。

DSPから始めて、伝送信号はCDMまたはコヒーレントドライバーモジュールにルーティングされます。コヒーレントドライバーモジュールは、1つのファイバーが接続されている2つのゴールデン/ブラスボックスのうち小さいものです。

簡潔にするために、PICの動作の詳細については説明しませんが、その小さなボックスには、レーザーソース、モジュレーター、およびその他のコンポーネントを使用して電気信号を光学信号に変換するために必要なコンポーネントがあります。ボックスの一方の端で電気信号を入力し、もう一方の端でファイバーバンドルに光を出力します。これは、このデモボードの送信エンドです。

この時点で、左側のわずかに大きなボックスが、ICRまたは統合されたコヒーレントレシーバーとして知られる受信側であると推測するかもしれません。シングルモードLCケーブルと光学系をよく使用する場合は、すぐに気づきます。受信側に2つのファイバーケーブルがあります。これは、このテクノロジーが、直接検出のみを実行するだけで、低コストおよび低速光学系よりもわずかに複雑である場合です（「あるか」分析の種類があります）。

回路基板に受信エンドファイバーがあるだけでなく、2番目の信号をICRに供給するローカル発振器もあります。位相比較の参照信号と考えてください。 ICRの内部には、90-程度のハイブリッドがあります。これは、特に位相情報や振幅情報の維持に役立つパッシブコンポーネントです。 ICRには、光学信号を受信し、反対側に電気出力を生成するための光検出器も装備されています。通常、電気信号は弱いため、TIA、またはTransImpedanceアンプを使用して、光電流を測定可能な電圧に変換します。電気側のアンプと考えてください。

通常、これらのコンポーネントも冷却する必要があるため、参照ボードは次のようになります。

参照レーザーソースでさえ、冷却のためにヒートシンクが必要です。私たちがラボに入ることができたと言ったとき、これが真のラボの設定であることは明らかです。

次に、ICRからの電気信号を電気側のOrion DSPに供給できます。

これにより、信号処理の完全なサイクルが完了し、電気ドメインと光学ドメインの両方をカバーします。

この開発プラットフォームの各側面が最終的にパッケージ化され、OSFPフォームファクター内で熱的に管理されることに注意することが重要です。

ハードウェアを超えて、参照レーザー信号の必要性と、直接検出とコヒーレント検出の区別について簡単に説明しましょう。

記事の一環として、私のアイデアの1つは、ローエンドの低コストの光学デバイスで一般的に使用される直接検出とコヒーレント検出の違いを調査することです。

数学や物理学をより深く掘り下げる必要がある人は、すでにこれに精通しているかもしれません。多くの信号検出方法は、信号が存在するかどうかの単純な問題に焦点を当てています。非常に基本的な10Gbpsモジュールでは、これは「光がありますか？これは、より複雑なエンコーディングスキームだけでなく、多くのかなり単純な2Dの方法で表現できます。ラボでは、以下に示すような信号品質のような眼図 - グラフィカルな表現をよく見ます（Intelがその同じ年に販売したIntelの2019 Silicon Photonics Divisionから）。

コヒーレント検出は、光を使用したより高度な技術を可能にするため、はるかに複雑です。光の存在を検出するだけでなく、信号の「星座」を観察することができます。どちらの図もXとYの偏光を表示し、16の星座の可能性をもたらします。

これが、ローカルオシレーターの参照を持つことが重要な理由です。より複雑なエンコーディングには、そのリファレンスによって提供される追加情報が必要です。

直接検出とコヒーレント検出の違いに興味がある場合は、このトピックに関する詳細な論文がたくさんあります。 STH視聴者の場合、重要なポイントは、800g ZR+ OSFPモジュールがわずかに大きい100G SR4 QSFP28モジュールのように見えるかもしれないが、その内部は大きく異なることです。

それで、大きな問題は、「なぜこの問題のいずれかがあるのか​​？」です。簡単な理由は、地域全体にデータセンターを展開することは、コストと回復力に有利になる可能性があることです。スイッチから1000キロメートル以上のデータセンターに直接接続すると、組織はより低コストの安定した場所でより多くのインフラストラクチャをホストすることができます。さらに、2つの地理的に遠く離れたキャンパスがある場合、400Gbpsと800gbpsの帯域幅をリンクすることは、ゲームチェンジャーになる可能性があります。

しかし、実際には、今日のプラグ可能な光学系の最大のドライバーの1つは、AIデータセンターの構築です。この構造は電力の可用性によって制約されているため、データセンターのオペレーターは電力の保護に焦点を当てています。計画には、既存の発電所の隣にある大規模なデータセンターの建設、データセンターの新しい電源の作成などが含まれます。トランスミッション損失を最小化することで、コンピューティングに利用できるパワーを最大化することができます。課題は、クラスターが1つのサイトに依存することはもはや実行不可能である可能性があるほど多くのパワーを必要とすることです。

1つのキャンパスにコンピューティングを集中するのではなく、電源の近くに複数のデータセンターを見つけるというアイデアをよく耳にします。興味深いことに、これは多くの暗号通貨鉱山労働者が2010年代半ばから後半に探索していたものでもあります。違いは、鉱業農場には高帯域幅の低さの低さの相互アクセスを必要としないのに対し、AIクラスターはそうすることです。

アイデアは、利用可能な電源に近い複数のサイトに大規模なクラスターを構築すると、送電の損失とコストを節約できる可能性があり、簡単になる可能性もあります。大規模な電源をライセンスして構築する代わりに、組織は暗い繊維使用の光ファイバーケーブルを明るくするか、いくつかの小さな電源でクラスターをブリッジするために追加ファイバーを敷設することができます。

したがって、簡単な答えは、これらのモジュールにより、組織は（専用のDCIボックスではなく）一般的なプラグ可能な光学トランシーバーを使用して、比較的安価で簡単な方法で長距離にわたる高速リンクを確立できるということです。さらにエキサイティングなのは、AIリソースの大規模な地理的分布の可能性です。

プラグ可能なモジュールは、多くの場合、単純な金属シェルとして表示されます。この観点から見ると、なぜ一方が他方より複雑であるのかを知るのは難しいです。

ハイエンドモジュールの内部を調べることにより、これらのプラグ可能な光学系の複雑さをよりよく理解できます。 800g ZR+光トランシーバーとは大きく異なる、シンプルで低コストの100G SR4光学トランシーバーを見ました。その理由は、それらが似ているように見えますが、Colorz IIIモジュールは、距離10、000の速度の8倍のレートでデータを送信できるためです。それがおそらく、私が最初にそれを見たとき、それがとてもクールなデモだと思った理由です。

以前のコンテキストから、100G QSFP28 DACと100G SR4 QSFP28光トランシーバーも分解したことに気づいた人もいます。モジュール内にあるものを示すことが重要だと思うので、この記事ではDACケーシング内部が明らかになります。

私たちが開こうとしているケーブルは、Intel DACとしてラベル付けされています。これはかなり典型的なものですQSFP DAC、一方の端に電気コネクタ、もう片方にケーブルがあります。

ケーシングを開くのは非常に簡単です。一部のケーシングは、このように、単純なネジを使用してそれらをまとめます。他のものは、より開くのが難しい接続方法を使用します。ケーシングを自分で開く場合は、簡単に締めたネジで使用することをお勧めします。また、QSFP28固定メカニズムには通常スプリングがあることに注意してください。これらのケーシングを開くと、スプリングがケーシングから飛び出すことができることはよく知られています。

ケーシングの内部では、PCBが非常に簡単であることがわかります。実際、QSFP28コネクタとケーブルの内部ワイヤの間に多くのトレースを見ることができます。

 

モジュールには、DACと同じ長さの厚いシールドワイヤがあります。各ワイヤーには数があり、これは製造に役立つ可能性があります。接続とワイヤーの端は、樹脂またはエポキシでコーティングされており、PCBはんだポイントに固定しています。次に、いくつかの銅テープと、湾曲したサポートを備えた柔軟なケーブル出口を取得します。両側は非常に似ています。

あなたにアイデアを与えるために、ここでは、低コストのQSFP 28 100 g SR4 DACの内部が、特にPIC（Photonic Integrated Circuit）側のように見えるものです。光ファイバーのアライメントはより正確でなければならず、光子から回路の界面はDACの内部構造よりもはるかに複雑です。

ほとんどの人は、DACを覗く必要はありません。それらはプラグアンドプレイになるように設計されており、メンテナンスは必要ありません。それでも、これらのケーブルがどのように機能するかを示すために、ケーシングの一端を開く価値があると思います。少なくとも、これらはパッシブケーブルであることを指摘する必要があります。 AECS（アクティブな電気ケーブル）があり、ケーブルコネクタにアクティブなレットチップがあり、信号品質を改善するのに役立ち、高速信号が銅をさらに移動することができます。 AECは、より複雑で、パワーに飢えており、費用がかかります。とはいえ、DACデザインのシンプルさに関しては、これらの写真がより良いアイデアを提供することを願っています。