HPCシステムズではエンジニアを募集しています。詳しくはこちらをご覧ください。
HPCシステムズのエンジニア達による技術ブログ

Tech Blog

ASUS M.2 アダプタ 「HYPER M.2 X16 GEN 4 CARD」性能検証

今回は、ASUS製のM.2 SSDマウントPCIeカード「HYPER M.2 X16 GEN 4 CARD」の検証内容についてまとめました。

概要

昨今、HPC系アプリケーションを利用されるお客様からM.2 SSDを利用したいとの声が大きくなってきました。
しかしHPC用マシンは、大型GPUや水冷機構が搭載されるため、マザーボード上のM.2スロットへM.2デバイスを装着する方法ではアクセス性や保守性が大きく損なわれることがあります。
この問題の解決策の一つに、PCIeカード上にM.2 SSDを搭載することで、着脱を容易にしつつ、高い拡張性を確保する方法が挙げられます。

本記事では、その具体的な選択肢として、ASUS製PCIeカード「HYPER M.2 X16 GEN 4 CARD」の性能の検証についてご報告します。

検証内容

今回の検証では、以下の2つの検証を行い評価していきます。
①PCIeカードにM.2 SSDを載せ、単体・RAID0/1/5/10構成でのシーケンシャル/ランダムの読み書き速度/IOPSの測定・比較
②他のアダプターとの冷却性能比較

検証環境

■評価対象

ASUS HYPER M.2 X16 GEN 4 CARD(以降ASUSカードと表記)

ASUS製のM.2マウントPCIeカードで最大4枚搭載可能です。PCIe4.0対応しています。M.2の規格は20110まで対応。
サイズは 270(L) x 122(W) x 15(H) mmで大きめです。主にワークステーションでの使用となります。

 

■機体

筺体:HPC3000-XSRGPU4TC(PCIe 5.0対応)
CPU:Intel Xeon 6448Y

■M.2 NVMe SSD

・KIOXIA XG8 512GB NVMe M.2/KXG80ZNV512G
・Samsung M.2 SSD 980 PRO MZ-V8P500B/IT
※都合により、検証ごとに種類が代わってます。

■ソフトウェア・その他

・OS:Windows Server 2022
・計測用アプリケーション:CrystalDiskMark、CrystalDiskInfo
・VROC ハードウェアキー(VROCPREMMOD)

検証準備

まずはASUSカードにM.2を載せ、筐体に取り付けていきます。

固定しているネジを裏側から外していきます。
開けるとこんな感じ。

使用後なのでサーマルシートがくたびれていますが、、、使用前は保護シートが貼ってあるので剥がしましょう。

取り外したカバー状のものは大きなヒートシンクとなっており、内部が空洞でフィンが付いています。
M.2で発生した熱をサーマルシート経由で金属性ヒートシンクに取り込む一方、外気をファンから金属製ヒートシンク内部に取り込みリア側から排出することで放熱する冷却方式でした。

筺体に搭載します。

1スロット厚ですが、大型GPU並みの大きさです。
サーバー用マザーボードの幅を超えています。横幅もあるので入るマシンが限られそう。
x4のM.2が4枚搭載可能なため、PCIeレーンもx16のものを使用します。
また、M.2を認識させるためにはBIOSにてBifurcation設定(x4,x4,x4,x4)に設定する必要があります。

今回はVROCでのRAID構成も検証するため、VROCのハードウェアキーも所定の位置に取り付けます。

取り付けたら、マシンを起動し、BIOS画面にて該当のPCIeスロットのVMD設定を有効にします。
再起動させ、4枚すべてのM.2 SSDが認識されていることを確認できたらOSを起動していきます。

M.2性能測定

パススルー性能評価

まずは、パススルー(M.2 SSD 1枚)での読み書き速度の測定です。

M.2は「KIOXIA XG8 512GB NVMe M.2/KXG80ZNV512G」を使用。
シーケンシャル・ランダムともにカタログスペックと同等の値を出せています。
※なお、NVMeはマルチスレッド前提の設計のため、特にランダムはスレッド数を上げて測定しています。

RAID性能評価

次に各RAIDを構成した状態での計測結果と比較してみます。(RAID1は2枚、それ以外は4枚で構成)

VROCのハードウェアキーの「VROCPREMMOD(Premium)」を使用したため、RAID5まで構成することができました。Standardキーの場合はRAID5は使用できません。
RAIDの構成も問題なく行うことができました。

性能面では、シーケンシャルの速度は読み込み最大約22,000MB/s、書き込み約17,000MB/sと理想的なスケールを見せています。
ランダムアクセスにおいてもキュー・スレッド数の増加により、比較的向上しています。
特にランダムアクセスでのWriteの性能が高いことは、科学技術計算やAI学習などのシステムに最適です。
上記の結果からASUSカードなら、M.2の性能を活かした構成ができると評価します。

冷却性能評価

次に冷却性能です。正直なところ、大型のヒートシンクがあるとはいえ、ほんとにこの小さいファンで冷却されるの?という疑問が残ります。
そこで、弊社の別機体に採用している大型ファンの付いたM.2マウントカードと高負荷時のM.2温度を比較して検証をしてみます。

■比較部材
Gen4.0 M.2 2280×4枚 アダプタカード(以降アダプタカードと表記)

こちらはM.2に直接風を当てる構造で、RAIDコントローラは未搭載です。

M.2 SSDには「Samsung M.2 SSD 980 PRO MZ-V8P500B/IT」を使用。
CrystalDiskMarkで1枚のM.2 SSDに負荷を掛けた状態でのM.2 SSDの温度をCrystalDiskInfoで測定し、最大温度を比較します。

以下が計測結果です。

ASUSカード

アダプタカード

結果はASUSカードの方が高い温度となりましたが、大きな差はありませんでした。

ただし、ASUSカードはヒートシンクによる冷却のため、ヒートシンクが冷えにくい環境(※)ではさらに温度が高くなると考えられます。
 ※フロントからの給気が届きにくい、GPUなど発熱部材に隣接している、など
使用されるマシンの構成や環境に応じて、設置位置やファンの回転数などを調整する必要があるでしょう。

まとめ

今回の検証結果より、ASUS HYPER M.2 X16 GEN 4 CARDであれば保守性を確保しつつ、M.2 SSDの性能を最大限に活用できることがわかりました。

ただし、搭載環境により制限や調整が必要となる場合もあるため、引き続き検証を進め、製品構成への追加を増やしていく予定です。

 

※参考サイト:
https://www.asus.com/us/motherboards-components/motherboards/accessories/hyper-m-2-x16-gen-4-card/
https://www.kioxia.com/ja-jp/business/ssd/client-ssd/xg8.html
https://semiconductor.samsung.com/jp/consumer-storage/internal-ssd/980pro/