NVIDIA DGX Series

AI インフラストラクチャの金字塔。 NVIDIA DGX H100

NVIDIA DGX H100

世界最先端のエンタープライズ向け AI インフラストラクチャ

NVIDIA H100 GPU x8、合計 GPU メモリ 640GB
GPU あたり 12 NVIDIA® NVLinks®、GPU 間の双方向帯域幅 900GB/秒
NVIDIA NVSWITCHES™ x4
7.2 テラバイト/秒の GPU 間双方向帯域幅 、前世代比 1.5 倍以上
NVIDIA CONNECTX®-7 x8 および、NVIDIA BLUEFIELD® DPU 400Gb/秒 ネットワーク インターフェイス x2
ピーク時の双方向ネットワーク帯域幅 1TB/秒
デュアル x86 CPU と 2TB システム メモリ
AI への依存が非常に高い仕事を可能にするパワフルな CPU
30TB NVME SSD
最高のパフォーマンスを実現するための高速ストレージ

製品概要

NVIDIA DGX H100システムは、大規模言語モデル、レコメンダー システム、ヘルスケア研究および気候科学に必要とされる、膨大な演算性能要件に対応できるスケールを備えています。1 台のシステムには8 基の NVIDIA H100 GPU が搭載され、これらの GPU が NVIDIA NVLink® で 1 つに接続されています。NVIDIA DGX H100 システムは1台あたり、新しい FP8 精度で前世代の 6 倍以上となる、32 ペタフロップスの AI 性能を発揮します。

NVIDIA DGX H100 システムは、次世代の NVIDIA DGX POD™ および NVIDIA DGX SuperPOD™ AI インフラストラクチャ プラットフォームの構成要素となっています。最新の DGX SuperPOD アーキテクチャには、合計 256 基の H100 GPU を搭載する最大 32 のノードを接続する、新しい NVIDIA NVLink Switch Systemが実装されています。

FP8 で 1 エクサフロップスと前世代の 6 倍以上の AI 性能を発揮する、次世代の DGX SuperPOD は、数兆のパラメータを持つ膨大な LLM ワークロードを処理できる能力によって、AI の地平を切り開きます。

主な特長

NVIDIA H100 TensorコアGPU

NVIDIA H100 Tensor コア GPU では、あらゆるワークロードのための前例のないパフォーマンス、スケーラビリティ、およびセキュリティを利用できます。NVIDIA® NVLink® Switch システムにより、最大 256 基の H100 を接続して、エクサスケール ワークロードを加速することができ、兆単位のパラメーター言語モデルを解くための専用の Transformer Engine も備えています。H100 の複合的な技術革新により、大規模な言語モデルを前世代の 30 倍という驚異的なスピードで高速化し、業界をリードする対話型 AI を提供することができます。

画期的なテクノロジ

最新の TSMC 4N プロセスを利用し、800 億個以上のトランジスタで作られた Hopper は、NVIDIA H100 Tensor コア GPU の中核をなす 5 つの画期的なイノベーションを持ち、それにより世界最大の言語生成モデルである NVIDIA の Megatron 530B チャットボットの AI 推論で、前世代と比較して 30 倍という驚異的なスピードアップを実現します。

Transformer Engine

NVIDIA Hopper アーキテクチャは、AI モデルのトレーニングを高速化するように設計された Transformer Engine との組み合わせで Tensor コア テクノロジを前進させます。Hopper Tensor コアでは FP8 と FP16 の精度を混在させることができます。トランスフォーマーの AI 計算が劇的に速くなります。Hopper はまた、TF32、FP64、FP16、INT8 の精度の浮動小数点演算 (FLOPS) を前世代の 3 倍にします。Transformer Engine と第 4 世代 NVIDIA® NVLink® と組み合わせることで Hopper Tensor コアは HPC と AI のワークロードを桁違いに高速化します。

NVLink Switch システム

ビジネスの最先端では、エクサスケール HPC と兆パラメーター AI モデルを大規模にスケールするために、サーバークラスター内の各 GPU 間に高速でシームレスな通信が必要です。

第 4 世代 NVLink は、スケールアップ相互接続です。新しい外部 NVLink Switch と組み合わせると、NVLink Switch システムは、PCIe Gen5 の 7 倍以上の帯域幅である、GPU あたり 900 ギガバイト/秒 (GB/s) の双方向で複数のサーバーにわたるマルチ GPU IO (入出力) を拡張することが可能になりました。NVLink Switch システムは、最大 256 基の H100 を接続したクラスターをサポートし、Ampere で InfiniBand HDRの 9 倍高い帯域幅を実現します。

さらに、NVLink は、これまで InfiniBand でしか利用できなかった SHARP と呼ばれる In-network Computing をサポートし、57.6 テラバイト/秒 (TB/s) の All-to-All の帯域幅を実現しながら、FP8 スパース AI コンピューティングで 1 exaFLOPS という驚くべき性能を提供することができるようになりました。

NVIDIA コンフィデンシャル コンピューティング

データはストレージに保存されているときと、ネットワーク間を転送されるときは暗号化されますが、処理中は保護が解除されます。この保護のない時間に対処するのが NVIDIA コンフィデンシャル コンピューティングです。使用中のデータとアプリケーションを保護します。NVIDIA Hopper アーキテクチャは、コンフィデンシャル コンピューティング機能を持った世界初のアクセラレーテッド コンピューティング プラットフォームを導入するものです。

ハードウェアベースの強力なセキュリティを持ち、ユーザーはオンプレミス、クラウド、エッジでアプリケーションを実行できます。許可のないエンティティは使用中のアプリケーション コードやデータを表示することも、変更することもできません。データとアプリケーションの機密性と完全性が守られ、AI トレーニング、AI 推論、HPC ワークロードのかつてない高速化を利用できます。

第 2 世代 MIG

マルチインスタンス GPU (MIG) という機能では GPU を、完全に分離された複数の小さなインスタンスに分割できます。それぞれにメモリ、キャッシュ、コンピューティング コアが与えられます。Hopper アーキテクチャは MIG の機能をさらに強化するものです。最大 7 個の GPU インスタンスで仮想環境のマルチテナント/マルチユーザー構成をサポートします。コンフィデンシャル コンピューティングによってハードウェアおよびハイパーバイザー レベルで各インスタンスが分離されるため、安全です。MIG インスタンスごとに専用のビデオ デコーダーが与えられ、共有インフラストラクチャで安定したハイスループットのインテリジェント ビデオ解析 (IVA) が実現します。そして、Hopper の同時実行 MIG プロファイリングを利用すると、管理者はユーザーのために正しいサイズの GPU 高速化を監視し、リソース割り当てを最適化できます。

研究者のワークロードが比較的少ない場合、完全な CSP インスタンスを借りる代わりに、MIG を利用して GPU の一部を安全に分離することを選択できます。保存中、移動中、処理中のデータが安全なため、安心です。

DPX 命令

動的プログラミングは、複雑な再帰的問題を単純な小問題に分割して解決するアルゴリズム手法です。小問題の結果を格納しておけば、後で再計算する必要がありません。幾何級数的問題の解決にかかる時間が短縮され、その複雑性が緩和されます。動的プログラミングは幅広い使用例で一般的に使用されています。たとえば、Floyd-Warshall は、出荷車両と配送車両のための最短経路を地図に表示する経路最適化アルゴリズムです。Smith-Waterman アルゴリズムは DNA 配列とタンパク質フォールディングの応用に使用されます。

Hopper では DPX 命令で動的プログラミング アルゴリズムを加速します。CPU と比較して 40 倍、NVIDIA Ampere アーキテクチャ GPU と比較して 7 倍の速さです。結果的に、病気の診断、リアルタイムの経路最適化、さらにはグラフ分析を劇的に速くします。

H100とA100のAI トレーニング パフォーマンス結果

H100とA100のAI 推論パフォーマンス結果

システム解説

ホワイトペーパーダウンロード

https://nvdam.widen.net/s/9bz6dw7dqr/gtc22-whitepaper-hopper

GTC 2022 Keynote

仕様・スペック

DGX H100

SYSTEMNVIDIA DGX H100
GPU8x NVIDIA H100 Tensor Core GPUs
GPU memory640GB total
Performance32 petaFLOPS FP8
NVIDIA® NVSwitch™4x
System power usage~10.2kW max
CPUDual x86
System memory2TB
Networking4x OSFP ports serving 8x single-port NVIDIA ConnectX-7
400Gb/s InfiniBand/Ethernet
2x dual-port NVIDIA BlueField-3 DPUs VPI
1x 400Gb/s InfiniBand/Ethernet
1x 200Gb/s InfiniBand/Ethernet
Management network10Gb/s onboard NIC with RJ45
50Gb/s Ethernet optional NIC
Host baseboard management
controller (BMC) with RJ45
2x NVIDIA BlueField-3 DPU BMC (with RJ45 each)
StorageOS: 2x 1.9TB NVMe M.2
Internal storage: 8x 3.84TB NVMe U.2
System softwareDGX H100 systems come preinstalled with DGX OS, which is based on Ubuntu Linux and includes the DGX software stack (all necessary packages and drivers optimized for DGX).
Optionally, customers can install Ubuntu Linux or Red Hat Enterprise Linux and the required DGX software stack separately.
Operating temperature range5–30°C (41–86°F)
梱包重量163.16kg
システムサイズ 全高: 264.0mm
全幅: 482.3mm
奥行: 897.1mm
運用温度 5℃ - 30℃

DGX-H100-tensor-コアGPU

フォーム ファクターH100 SXM
FP6430 teraFLOPS
FP64 Tensor コア60 teraFLOPS
FP3260 teraFLOPS
TF32 Tensor コア1,000 teraFLOPS* | 500 teraFLOPS
BFLOAT16 Tensor コア2,000 teraFLOPS* | 1,000 teraFLOPS
FP16 Tensor コア2,000 teraFLOPS* | 1,000 teraFLOPS
FP8 Tensor コア4,000 teraFLOPS* | 2,000 teraFLOPS
INT8 Tensor コア4,000 TOPS* | 2,000 TOPS
GPU メモリ80GB
GPU メモリ帯域幅3TB/秒
デコーダー7 NVDEC
7 JPEG
最大熱設計電力 (TDP)700W
マルチインスタンス GPU最大 7 個の MIG @ 10GB
フォーム ファクターSXM
相互接続NVLink: 900GB/秒 PCIe Gen5: 128GB/秒
サーバー オプション4 または 16 GPU 搭載の NVIDIA HGX™ H100 パートナーおよび NVIDIA-Certified Systems™ 8 GPU搭載の NVIDIA DGX™ H100

* 疎性あり

NVIDIA Partner Network(NPN)に認定されました

HPCシステムズはNVIDIA社のパートナー認定制度“NVIDIA Partner Network (NPN)” においてHigh Performance Computing (HPC) ならびに Deep Learning の ELITE PARTNER に認定されています。また、DGX製品の販売資格である「Advanced Technology Program (ATP)」 を保有しています。

※NPNとは、NVIDIA社 の Solution Provider 向けのプログラムです。Solution Providerは、VAR(Value Added Reseller:付加価値再販業者)と呼ばれる企業が対象となります。HPCシステムズは、NVIDIA社、パートナー各社と連携し、質の高い製品、サービスをお客様へご提供しています。

お問い合わせ

お客様に最適な製品をご提案いたします。まずはお気軽にお問い合わせください。

03-5446-5531

平日9:00~18:00(土・日・祝日は除きます)

※土曜日、日曜日、祝日、年末年始は、休日とさせていただきます。