ソフトウェア

Lustreは、大規模な計算クラスターで使用されるオープンソースの高性能分散並列ファイルシステムです。広帯域のネットワークで結合された複数のファイルサーバが同時並列に動作することで、大量のデータを迅速に処理・転送でき、数ペタバイト(PB)規模のデータセットに対応できる高いパフォーマンスを持ちます。システム内のサーバーとディスクの数をニーズに合わせて増やすことで、数万のクライアントノードにも対応できる規模までスケールアウトできる拡張性を備えています。このようなLustreの導入によって、計算結果を得るまでの時間短縮や、新たな解析手法などが可能となり、生産性の向上や新たな知見を得ることが期待できます。

大規模なLustre構成ではメタデータを保存するサーバ(MDS: Meta Data Server)とデータを保存するためのサーバ（OSS: Object Storage Server)を独立のサーバで実現しますが、小規模な構成であれば同一サーバ上にメタデータサーバとデータサーバを構築でき、安価でシンプルな構成でかつ管理も容易に行うことが可能です。またLustreはオープンソースソフトウェア製品でありそれ自体が無料であるだけでなく、ハードウェアの依存性・制限も少なく、Linuxサーバであれば標準的な構成の安価なサーバをベースに構築することが可能で、予算に合わせた柔軟な構成が可能です。

• ① クライアントサーバ
  • ファイルサーバのサービスを受けるサーバです。計算サーバやアプリサーバにLustreクライアント用のLinuxモジュールを導入し実現します。
• ② オブジェクトストレージサーバ(OSS)
  • ファイルを分散して保持し、クライアントに同時並列にファイルサービスを提供するサーバです。ストレージ部分を特にオブジェクトストレージターゲットと呼びます。
• ③ メタデータサーバ(MDS)
  • ファイルのメタデータ情報(ファイルの格納位置、アクセス権等)を管理するサーバです。メタデータ情報を保持するストレージ部分を特にメタデータターゲットと呼びます。
• ④ Lustreネットワーク(LNet)
  • データ転送のためにRDMAをサポートした軽量かつ効率的なネットワークプロトコルまたはそれを実装したネットワークです。Lustreシステム上でサーバとクライアント間およびびサーバ間の通信を行います。EthernetやInfiniBand等、様々なネットワークの上で動作可能です。

• ■高いスケーラビリティ
  • 並列I/O: 複数のファイルサーバが同時並列に動作し、サーバの追加も可能です。
  • 大規模なファイルシステム：数百PB規模、数万nodeのクライアントも可能です。
• ■高いパフォーマンス
  • 高速なデータアクセス：大規模HPCに求められるI/O性能を提供します。
  • 分散メタデータ管理：複数のMDSによりボトルネックを回避します。メタデータ保持も高速化しています。
• ■高い互換性
  • POSIXサポート：POSIXをサポートしています。POSIXとは異なるUNIXシステム上でもアプリが動作するための互換仕様です。
• ■柔軟なストレージ管理
  • ストレージプール：異なる速度/容量を持つストレージを用途に応じた配置が可能です。
  • ストライピング：ファイルを複数のOSTにストライプ分割し、並列アクセスにより効率化・高速化します。
• ■高可用性とフォールトトレランス
  • レプリケーションとミラーリング：レプリケーションとミラーリングを採用することで障害時の可用性を確保可能です。
  • フェイルオーバー機能：サーバやストレージの障害時にも、他の nodeにフェイルオーバーすることでシステムの稼働を継続可能です。
• ■柔軟なネットワークサポート
  • マルチプロトコルサポート：InfiniBand、Ethernet等の多種の広帯域ネットワークをサポートしています。
  • 軽量で効率的なプロトコル：軽量で効率的なLNetプロトコルを採用しており、RDMAをサポートしています。
• ■オープンソース
  • オープンソース：オープンソースでありソフトウェアのライセンス費用は無料です。
  • コミュニティサポート：コミュニティにより開発・保守されており、最新の技術が迅速に反映されます。
  • カスタマイズ可能：特定のニーズに合わせてカスタマイズや拡張が可能です。
• ■管理ツールとエコシステム
  • 管理ツール：豊富な管理ツールがあり、モニタリング、性能解析、トラブルシューティングが可能です。
  • エコシステム：多くのHPCアプリやデータ分析システムと統合されており、幅広い用途で活用されています。

Lustre システムは以下のような用途で広く利用されており、その高い性能とスケーラビリティにより、大規模データ処理のためのファイルシステムとして最適な選択肢となります。

• ■スーパーコンピュータ
  高性能計算の分野で広く利用されており、Supercomputing 2024で発表されたIO500(HPC ストレージのベンチマーク)で Lustreを採用しているシステムは3割にも及びます。
• ■ビッグデータ解析
  大規模データを扱う科学計算(HPC)やデータ解析の分野では、Lustreの高い性能が必要とされます。
  Lustreは、特にパフォーマンスが重要な環境での使用に最適化されています。
• ■クラウドストレージ
  高いスケーラビリティと性能を必要とするクラウドストレージサービスにLustreは最適です。

Lustreは低価格な最小限の構成から、専用ハードウェアを用いて高い可用性を実現した大規模構成まで、柔軟な構成選択が可能です。以下では高性能化するために NVMe-storageの利用を前提とし各構成例を比較してみます。

■SimpleなLustre構成の例　(MDS=1,OSS=1[20Drive])

• ・標準的なサーバや部材を組み合わせることで安価に高性能のファイルサーバが構成できます。
• ・NVMe-oFを利用した高速ファイルサービスが可能で、MDSやOSSを増設することで容量や速度の向上が可能です。
• ・DISKの故障に対してはRAIDで保証されていますが、サーバの故障ではサービスが中断します。
• ・15TBのNVMeを採用した場合はOSS1筐体(2U)で実効容量は240TB [15TBx(10-2)x2]です。

■Replicated(複製)構成の　例(MDS=1×2,OSS=1[20Drive]x2)

• ・標準的なサーバや部材を組み合わせていますが、Replicate(複製)のために２倍の設備が必要で高価です。
• ・NVMe-oFを利用した高速ファイルサービスが可能で、MDSやOSSを増設することで容量や速度の向上が可能です。
• ・DISKの故障に対してはRAIDで保証し、サーバの故障でも待機系によりサービスが継続可能です。
• ・本例ではNICの冗長化によりLNetの可用性を上げています。

■Dedicated(専用)構成の例　(MDS=1[HA],OSS=4[20Drivex4])

• ・2port-NVMeやPCIe-Switch等の専用のハードウェアを導入しMDT,OSTに対しては２系統のパスを確保しています。
• ・NVMe-oFを利用した高速ファイルサービスが可能で、MDSやOSSを増設することで容量や速度の向上が可能です。
• ・DISKの故障に対してはRAIDで保証し、サーバの故障でも２系統のパスがあるのでサービスは継続可能です。
• ・本例ではOSSを４筐体接続し、４倍の実効容量を実現しています。

■構成比較まとめ

専用ハードウェアを採用したDedicatedシステムは、大幅な物量の増加なく高い可用性を実現しており、高性能でかつ高い可用性を求めるお客様には最適なLustreシステムです。一方で、標準サーバを用いて構成したSimpleなLustreシステムは、サーバの故障に対してサービスの中断は生じますが、DISKの故障に対してはRAIDで保護されており、低価格で高性能のファイルサービスを求めるお客様には適切な選択肢の一つと考えることができます。