AI インフラストラクチャの金字塔。 NVIDIA DGX H100

NVIDIA H100 Tensor コア GPU では、あらゆるワークロードのための前例のないパフォーマンス、スケーラビリティ、およびセキュリティを利用できます。NVIDIA® NVLink® Switch システムにより、最大 256 基の H100 を接続して、エクサスケール ワークロードを加速することができ、兆単位のパラメーター言語モデルを解くための専用の Transformer Engine も備えています。H100 の複合的な技術革新により、大規模な言語モデルを前世代の 30 倍という驚異的なスピードで高速化し、業界をリードする対話型 AI を提供することができます。

NVIDIA Hopper アーキテクチャは、AI モデルのトレーニングを高速化するように設計された Transformer Engine との組み合わせで Tensor コア テクノロジを前進させます。Hopper Tensor コアでは FP8 と FP16 の精度を混在させることができます。トランスフォーマーの AI 計算が劇的に速くなります。Hopper はまた、TF32、FP64、FP16、INT8 の精度の浮動小数点演算 (FLOPS) を前世代の 3 倍にします。Transformer Engine と第 4 世代 NVIDIA® NVLink® と組み合わせることで Hopper Tensor コアは HPC と AI のワークロードを桁違いに高速化します。

現代のビジネス環境において、エクサスケール HPC（High-Performance Computing）や兆を超えるパラメーター数を持つAIモデルなど、非常に要求の高い計算タスクに対応するために、高速でスケーラブルなコンピューティングプラットフォームが不可欠です。これを実現するには、GPU間の効率的な通信が不可欠であり、そのために高度な相互接続技術が必要です。

DGX-H100は、第4世代のNVLinkテクノロジを採用しており、これによりレーンあたり100Gbps、ポートあたり200Gbpsの高速なpoint-to-point接続方式を提供しています。各NVIDIA H100 GPUに対して18ポートのNVLinkを搭載することで、各GPUの合計帯域幅は900ギガバイト/秒(GB/s)に達します。この性能は、PCIe Gen5の帯域幅の7倍以上に相当します。また、DGX-H100は第3世代のNVSwitchも搭載しており、これは複数のNVLink接続をスイッチする技術です。これによりマルチキャストを含む任意のGPU間でのノンブロッキング通信を非常に効率的に行えます。

さらに、NVSwitchは、In-network Computingとして知られる、これまでにInfiniBandでしか実現できなかった技術であるSHARP（Scalable Hierarchical Aggregation and Reduction Protocol）をサポートしています。これにより、NVSwitchは高速な通信を行いつつ、内部に組み込まれた演算ユニットを使用して、リダクション処理などの計算を同時に実行できます。これにより、データ伝送量を削減し、高速な計算を実現することが可能となります。

データはストレージに保存されているときと、ネットワーク間を転送されるときは暗号化されますが、処理中は保護が解除されます。この保護のない時間に対処するのが NVIDIA コンフィデンシャル コンピューティングです。使用中のデータとアプリケーションを保護します。NVIDIA Hopper アーキテクチャは、コンフィデンシャル コンピューティング機能を持った世界初のアクセラレーテッド コンピューティング プラットフォームを導入するものです。

ハードウェアベースの強力なセキュリティを持ち、ユーザーはオンプレミス、クラウド、エッジでアプリケーションを実行できます。許可のないエンティティは使用中のアプリケーション コードやデータを表示することも、変更することもできません。データとアプリケーションの機密性と完全性が守られ、AI トレーニング、AI 推論、HPC ワークロードのかつてない高速化を利用できます。

マルチインスタンス GPU (MIG) という機能では GPU を、完全に分離された複数の小さなインスタンスに分割できます。それぞれにメモリ、キャッシュ、コンピューティング コアが与えられます。Hopper アーキテクチャは MIG の機能をさらに強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。そして、Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソース割り当てを最適化できます。

研究者のワークロードが比較的少ない場合、完全な CSP インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、処理中のデータが安全なため、安心です。

動的プログラミングは、複雑な再帰的問題を単純な小問題に分割して解決するアルゴリズム手法です。小問題の結果を格納しておけば、後で再計算する必要がありません。幾何級数的問題の解決にかかる時間が短縮され、その複雑性が緩和されます。動的プログラミングは幅広い使用例で一般的に使用されています。たとえば、Floyd-Warshall は、出荷車両と配送車両のための最短経路を地図に表示する経路最適化アルゴリズムです。Smith-Waterman アルゴリズムは DNA 配列とタンパク質フォールディングの応用に使用されます。

Hopper では DPX 命令で動的プログラミング アルゴリズムを加速します。CPU と比較して 40 倍、NVIDIA Ampere アーキテクチャ GPU と比較して 7 倍の速さです。結果的に、病気の診断、リアルタイムの経路最適化、さらにはグラフ分析を劇的に速くします。