NVMe Over Fabricに対応したストレージシステムとしてIngrasys社が提供中の製品 ES2000（製品ページはこちら）のベンチマークを実施しました。その結果を、ご紹介します。
アプリケーションからES2000へのアクセス
ES2000をご存じない方にまずご理解いただいたいのが、アプリ―ケーションがES2000内のデータにアクセスするためのユニークな形態です。
アプリケーションは、ネットワークファブリック経由でES2000に収容されたEthernetSSDにアクセスします。その際、OSが、RDMAデータ転送を制御するとともに、キャラクタデバイス、ブロックデバイスのインタフェースを提供し、ネットワークファブリックの存在を隠蔽してくれます。これが、NVMe Over Fabricsと呼ばれている機構です。
| $ ls -l /dev/nvme* crw——- 1 root root 239, 0 Jan 18 16:56 /dev/nvme0 brw-rw—- 1 root disk 259, 0 Jan 28 10:58 /dev/nvme0n1 |
したがって、EthernetSSDには、ローカル接続された容量3.5TBのSSD同様に、POSIXインタフェースでアクセスできます。
| $ lsblk /dev/nvme0n1 NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT nvme0n1 259:0 0 3.5T 0 disk |
ES2000の特長
ES2000は、Microsoft がAzureネットワークで使っているSONIC OSが動いているEthernetスイッチモジュール(SWM)を組み込んでいます。サーバとES2000-SWMは100Gbps-Ethernet で、ES2000-SWMとEthernetSSDは25Gbps-Ethernetで接続されています。また、SWM、EthernetSSDともmulti-path構成を構築可能です。
図3-2:サーバ接続Port
| admin@sonic:~$ show interfaces status Interface Lanes Speed MTU Alias Vlan Oper ———– ———– ——- —– ———- ——– —— Ethernet0 0,1,2,3,4,5 100G 9800 Initiator0 trunk up Ethernet6 24 25G 9800 Fabrico0 trunk up |
このES2000は、既存資産や、LinuxOS、Ethernetに関する技術知識をそのまま活用できるところ多く、追加投資や学習コストが低い点が魅力の一つです。システムの全体のライフサイクルの中でEBOFだけが孤立することなく、周囲のシステムの成長にあわせ、継続的に活用することが可能です。
BenchMark結果
EthernetSSD単体性能
fioを用い、EthernetSSDの単体性能を計測しました。
| 種別 | 計測値 | 計測条件 | |
| スループット |
Sequential Read |
2,734 MiB/s |
128KiB QD64 |
|
Sequential Write |
1,668 MiB/s |
128kiB QD32 |
|
| IOPS |
Random Read |
913 KIOPS |
1KiB QD64 |
|
Random Write |
560 KIOPS |
4KiB QD64 |
|
シーケンシャルI/Oは、スループットを、読込み系で2734MiB/S(128KiB,QD64)を、書込み系で1668MiB/S(128KiB,QD32)をマークしました。
ランダムI/Oは、読込み系で913K-IOPS(128KiB,QD256)、書込み系で560K-IOPS(4KiB,QD64)をマークしました。
以上のとおり、EthernetSSDであってもローカルNVMe SSDと遜色ない読み書き性能であることを確認しました。
ストレージシステム性能
IO500ベンチマークツールの一つ、IORを用い計測しました
8プロセス多重において、約60GiB/sまでの帯域性能を確認しました。
分析ならび評価
ES2000は、書き込みよりも読み込みが得意なようです。EthernetSSD開発元のKIOXIAさんに伺ってみました。コストパフォーマンスのバランスと、実業務で想定される読み込みと書き込みの割合を考慮し、このような設計試用に仕立てたとのことでした。書き込み系にもっと強いEthernetSSDも生産できるそうですが、製造コストに跳ね返るそうです。
今回、NICとして、Mellanox-ConnectXのPCIe-GEN4対応カードを使用しました。GEN4 PCIeは、仕様上GEN3の２倍の帯域をもっているようですが、本BenchMarkでは、GEN4はGEN3比約120%ほどでした。EthernetSSDが25Gbpsなので、律速ポイントがPCIeにはならないようです。
ES2000は、一本のEthernetネットワークに、24本のEthernetSSDと最大６台のLinuxサーバが接続したフラットなトポロジーです。これを活用することで、データ量増加にも、アクセス量増大にも、スケールアウト対応可能です。収容データ量増加に対しては、EthernetSSDを追加する、もしくは、ES2000そのものをデイジーチェン追加することで対応し、収容データに対するアクセス量増大については、上位サーバをスケールアウトすることで対応可能なようです。また、ローカル接続されたSSDの場合、どうしても、データがローカルサーバに局在する傾向があり、リソース稼働率を上げる事が難しいと、お客様より伺います。ES2000は、そのような心配はなさそうです。
BenchMark環境
今回、構築した環境は、以下の構成です。
サーバ：
ハード :HPC5000-ERM2UQuad（4ノードのうち１ノードを使用）
CPU:AMD EPYC 7702（64コア 2.0GHz）x2
メモリ:256GB（16x16GB DDR4-3200 ECC RDIMM)
OS :CentOS 8.2
NIC :NVIDIA ConnectX-5 Ex VPI 100GbE, QSFP28, PCIe 4.0 x1
接続形態 ：ダイレクトコネクト
■ES2000
SONICOS : SONiC.foxconn_irene-v0.4.6.1
EthernetSSD: KIOXIA EM6 (3840GB)
ES2000は、ネットワークスイッチとストレージが合体した、ネットワークストレージとして大変ユニークな製品です。その特徴が市場の興味を引き、おかげさまで、本年開催されたInterop 2022 TOKYO にてBest of Show Award サーバ＆ストレージ部門の準グランプリを受賞しました。ES2000にご興味がおありの方はどうぞこちらにお問い合わせください！⇒（こちら）
参考URL
– 超高速イーサネット時代の新しいストレージのカタチ
– OK, You Hate Storage Tiering. What’s Next Then?
– NVMe Over Fabrics Support in Linux
–SSDに高速接続、NVMe-oF対応製品の発表相次ぐ
– データセンター向けの高性能ストレージ・ソリューションを実現するEthernet接続型NVMe-oF™ 対応SSDのサンプル出荷について
