図は、EBOFとその上位サーバから構成されるEBOFシステムのアーキテクチャ概要です。本システムは、NVMeOF,RDMA,RoCEv2を組み合わせて実現しています。
・NVMeOF(NVMe over Fabric)が、Fabric経由で接続されるNVMeデバイスにブロックデバイスインタフェースを提供します。
・RDMAが、PCIe経由のIOをCPUからオフロードする処理を担当します。
・RoCEv2(RDMA over Converged Ethernet v2)が、PCIeデータをUDPで梱包し、イーサネット経由でEBOF側SSDに転送する処理を担当します。
これにより、本システムは、上位サーバとイーサネット接続し、各Ether-SSDをサーバOSにローカルNVMe-SSDと同じインタフェースのブロックデバイスとしてアクセスできる環境を提供します。Ingrasys社EBOFの場合、KIOXIA社製Ether-SSD EM6を最大24本搭載できます。
ファブリック構成をとることによりメリットが生まれます。上位サーバは、サーバ筐体内に収容できる本数以上のSSDを使うことができます。また、サーバ間でSSDを共有することも可能になります。この装置を、SAN-FC接続のファブリック装置と比較すると。EBOF自身がイーサスイッチ機能をもつため、FC-Switch相当の外部スイッチ機器が不要です。構成がシンプルになり、故障箇所箇所の低減と、コストメリットが生まれます。あわせて、イーサスイッチをカスケード接続するように、EBOF同士をデイジーチェーン接続することで、ストレージ容量とアクセス処理性能、双方をスケールアウト可能になります。
現在検証中の環境の構成概要は以下の通りです。
上位サーバ(Initiator)
・ハード：HPC5000-ERM2UQuad
・ノード数：２ノード
・CPU:AMD EPYC Rome 7702
・OS:Cent8.2
・NIC:Mellanox ConnectX-5
・Cable:QSFP28-100GbE
EBOF
・SWM：Ingrasys-Irene-EBOF
・EtherSSD：KIOXIA Ether-SSD EM6(4TB/unit)x24
いかがですか？
次回、このEBOFに対しPOSIXインタフェースアクセスしたケースでのベンチマークを紹介させてください。
