AI時代のネットワーク:需要の源と革新の方向

AI大モデル時代において、ネットワークは重要な役割を果たしています。大モデルの規模が急速に成長するにつれて、光モジュールやスイッチなどのネットワーク機器は需要の爆発とイテレーションの加速に直面しています。本稿では、原理から出発し、ネットワークがなぜAI時代の新たな焦点となるのかを探り、産業の変化におけるネットワーク側の革新と投資機会について議論します。

1. ネットワーク需要の出所

大規模モデル時代に突入し、モデルの規模と単一カードの上限との差が急速に拡大しています。複数のサーバークラスターは、モデルのトレーニングを解決するための必然的な選択となり、これがAI時代におけるネットワークの重要性向上の基盤を形成しています。過去の単純なデータ転送とは異なり、現在のネットワークは主にグラフィックカード間のモデルパラメータの同期に使用されており、ネットワークの密度と容量に対してより高い要求がされています。

1.1 増大するモデルの規模

トレーニング時間 = トレーニングデータの規模 × モデルパラメータの量 / 計算速度 計算速度 = 単一デバイスの計算速度 × デバイス数 × 複数デバイスの並列効率

トレーニングデータの規模とパラメータの二重の追求の中で、計算効率を加速的に向上させることによって、トレーニングにかかる時間を短縮することができる。単一デバイスの計算速度の向上には周期と制限が存在するため、ネットワークを利用して「デバイス数」と「並列効率」を拡大する方法が、計算能力の水準を直接決定する。

1.2 マルチカード同期の複雑なコミュニケーション

大規模モデルのトレーニングプロセスでは、モデルを単一カードに分割した後、各計算後に単一カード間で整合性を取る必要があります。NCCLなどの通信原語では、All-to-Allなどの操作が一般的で、これはネットワークの伝送と交換に対してより高い要求を提示します。

1.3 高価な故障コスト

大規模モデルのトレーニングは数ヶ月続くことが多く、中断後は断点に戻って再トレーニングする必要があります。ネットワークの任意の部分での障害や高遅延は中断を引き起こす可能性があり、コストを増加させ、進行を遅らせることになります。現代のAIネットワークは、飛行機や空母などに匹敵する複雑なシステム工学に発展しています。

2. ネットワーク革新の方向

2年間の発展を経て、世界の算力投資規模は数百億ドルに達しました。モデルパラメータは引き続き拡大し、大手間の競争は依然として激しいです。現在、「コスト削減」、「オープン化」、および算力規模のバランスがネットワーク革新の主要なテーマとなっています。

2.1 通信媒体の変更

光、銅とシリコンは主要な伝送媒体です。AI時代において、光モジュールはより高速を追求すると同時に、LPO、LRO、シリコン光などのソリューションを通じてコストを削減しています。銅ケーブルはコストパフォーマンスと低故障率により、ラック内接続の優位性を占めています。Chiplet、Wafer-scalingなどの新技術がシリコンベースの相互接続の限界を探求しています。

2.2 ネットワークプロトコルの競争

片間通信プロトコルとGPUの強い結びつき、例えばNVLINKやInfinity Fabricなどは、単一ノードの計算力の上限を決定し、巨頭間の激しい戦場となっています。IBとイーサネットの競争はノード間通信の主旋律です。

2.3 ネットワークアーキテクチャの変化

現在のノード間ネットワークは一般的にリーフ-スパインアーキテクチャを採用しており、便利でシンプル、安定性などの利点があります。しかし、単一クラスターのノード数が増えるにつれて、リーフ-スパインアーキテクチャは超大規模クラスターにおいて冗長性が高まり、ネットワークコストが大きくなります。Dragonflyアーキテクチャ、レール専用アーキテクチャなどの新しいソリューションは、次世代の超大規模クラスターに向けた進化の方向性となることが期待されています。

3. 投資アドバイス

通信システムのコアリンク:Zhongji Innolight、Xin Yisheng、Tianfu Communication、Shanghai Electric Co.、Ltd.

通信システムの革新段階: 長飛光ファイバー、中天テクノロジー、亨通光電、盛科通信。

4. リスク提示

1. AIの需要が予想を下回った
2. スケーリング法則の失効
3. 業界における競争の激化