ホーム » HPCソリューション » Lastreファイルシステム

従来のファイルシステムでは効率の良い共同研究が難しい

 CPUやアクセラレーターの高性能化に伴い小規模なクラスターシステムでも、小型スーパーコンピュータ並みの処理性能を実現できるようになりました。

 しかしながら、研究現場からは今でも、次のような悩みを頻繁にお聞きします。

 これらの原因は、ファイルシステムにあります。

 従来のNFSなどによるファイルシステムでは、ストレージのコントローラが各サーバ(ユーザ)からのI/O要求を一手に引き受けることになります。高速ストレージを使用するのはもちろんのこと、コントローラを多重化したり、高速メモリに頻繁にアクセスされるデータをキャッシュしたりするなどのハードウェア上での高速化技術が実装されてきましたが、結局はコントローラにできる待ち行列の分だけCPUの待機時間が増えることになり、根本的な解決には至りませんでした。

 このような傾向は、科学技術計算で主流のMPI(並列プログラミング、ビッグデータ解析でも注目されている技術)では特に顕著となります。並列処理に適したデータの処理方法(MPI-IO)がありますが、NFSでは全く性能が出ません。実際、従来ファイルシステムによるMPIでは、CPUによる処理時間はせいぜい30%程度だと言われています。あとはI/Oに費やされているのです。

I/Oボトルネックを極限まで解消するLustreファイルシステム

 この問題を根本的に解決するためには、MPIで最大限に性能を発揮できるファイルシステムが必要になります。いくつかの解決策が提案されていますが、その中でも最もコストパフォーマンスに優れているとされるのが、Lustreファイルシステムです。
 Lustreファイルシステムの特長は、ストレージに関するメタデータを管理する機構と実データを保持する機構を分離していることにあります。アプリケーションサーバはまず、メタデータ(MDT)を管理するサーバ(MDS)に、データが実際に格納されているディスクのメタデータを返すように要求します。その後はMDSから返ってきたメタデータを使用して、実データを管理しているサーバ(OSS)を経由することで、実データが存在するディスク(OST)と直接通信することが可能となります。
 この仕組みにより待ち行列は極小化され、I/Oボトルネックが極限まで解消されることになります。特にMPI-IOにおいては、全体スループットがディスクの台数にほぼ比例して伸びるという実証結果が出ています。科学技術計算のみならず、ビッグデータ解析にも特に威力を発揮する環境だと言えます。



 ネットワークについては、TCP/IPでの構成も可能ですが、大規模なクラスターではさらに高速なネイティブInfinibandでの構成を推奨しています。

Lustreファイルシステムの導入を成功させる方法

 クラスターシステムによる並列処理に多大なメリットがあるLustreファイルシステムですが、いくつか留意点があるのも事実です。主な留意点は以下の通りです。

 これらの留意点をクリアするためには、Lustreファイルシステムを知り尽くしていることはもちろん、並列処理プログラミングとMPI-IOに精通したエンジニアによるサポートが必要です。HPCシステムズの強みは、このようなエンジニアが導入時にしっかりと要件をお伺いし、最適な機器構成提案ができることです。

 過剰投資は避けたいが、実運用に耐えないシステム導入も避けたい――すべてのお客様の本音でしょう。HPCシステムズでは、貴社のアプリケーションの内容にまで踏み込んだ分析を行い、最適な構成を提案し、手戻りのない早期の導入を実現します。

 Lustreファイルシステム自体をまず評価したいというお客様に対しては、最小構成によるスモールスタートもサポートしています。拡張性・柔軟性の高いアーキテクチャですので、徐々に適用範囲を拡大していくことも可能です。

関連情報

【新発売】HPC5000-XBW224FS48R2S-NVMe
HPC5000-XBW224FS48R2S-NVMe_main_small | 特長 | 仕様 | 製品カタログ |

NVMe対応超高速SSDを48基搭載した高性能オールフラッシュストレージ


  • 最大48台の2.5型 NVMe SSDを搭載可能
  • インテル® Xeon® プロセッサー E5-2600 v4 ファミリー対応
  • 最大2CPU(44コア)、最大1.5TBメモリ搭載可能
  • 2Uラックマウント筐体の省スペース・高密度実装
  • 用途に合わせてI/Oモジュールを柔軟に選択可能
  • 安定的な運用を確保する冗長化電源を搭載(80PLUS TITANIUM認証取得)
  • IPMI2.0が 高度な遠隔監視、操作を実現

NVMeSSD_max48 44core_2cpu mem_1.5tb 2u_rackmount_type tdp145w ipmi2.0
badge-xeon

お問い合わせ

■ フォームからのお問い合わせ

お問い合わせは以下のフォームよりお願いいたします。うまく送信されない場合は、メールでお問い合わせください。

お問い合わせフォーム

■ 電話・FAXでのお問い合わせ

number

【免責事項】