背景 ここ数年のHPC環境では、CPUやGPUによる計算コストよりも、データを移動するコストが支配的になっているという認識がますます強くなっています。どれだけ計算能力が高くてもデータが届かなければ、計算した結果を保存できなければ、せっかくの高速な環境はそれを待つことに時間を浪費しパフォーマンスが劣化します。メモリからのデータ転送でキャッシュのアルゴリズムが重要な要素となり、低遅延のネットワーク、ストレージの役割がますます大きくなっています。お金のかけ方が以前とは変わってきているわけです。一方でデータを動かすのではなく、データを中心にしてシステムを割り当てていくデータセントリックという、逆転の...

前置き 前回の記事で「短期決戦・スクラッチ向き」とか書いた途端に、永続的ストレージの発表があり、頭を抱えた筆者です。多数のユーザーが混在するクラウド上においてはパフォーマンスと同時にセキュリティも重要ですが、条件付きながらデータ転送も保存データも暗号化されています。普通のLustreでは行われていないOSTの２重化すら実現しています。さらにパフォーマンス向上も実現しています。これでAWS上に「普通のLustre」をつないだ「普通のスパコン」を運用する上で必要な、ある意味それ以上の「モノ」はほぼ揃ってしまいました。今回はその作り方と使い方を簡単に勉強しておきましょう。 AWSとHPC環境につ...

前置き この記事を書いている間にSingularityはEPELリポジトリから最新の3.5.3がインストールできるようになり、GROMACSは2020.1がリリースされました。ちなみにGROMACSは「誤った結果を出す」という理由で、GROMOS力場を削除していくようで、以前のデータがそのままでは使えなくなったり、計算結果が異なる可能性があります。ただ、2020.1にもファイルは従来どおり残っているので（使おうとするとワーニングは出ますが）一応計算は実行でき、ベンチマークの取得は可能です。 GROMACSに関する予備知識 分子動力学計算は単一の計算を繰り返しているわけではなく、近距離にあ...

背景 コンテナを使う時よく問題になるのは、特殊なハードウエアを使う場合にデバイスドライバとそれを叩くライブラリの組み合わせ問題です。コンテナはカーネル空間を分離してユーザーランドだけで動きます。つまりカーネルとデバイスドライバは管轄外になります。一方でアプリケーションを動かすライブラリはユーザーランドつまりコンテナ内にあります。せっかくのポータビリティがコンテナにあっても、このミスマッチでアプリが動かないのでは困ります。HPCではGPUをはじめ、Infinibandだったり、特殊機材のハードウエアや他のマシンのメモリすら直接叩いてパフォーマンスを最大化してきた歴史があります。そもそもコンテナ...

今回ベンチマークを行うアプリケーションはAmberです。 Amberは生体分子シミュレーション用アプリケーションです。（公式HP) Amber は 有償のSolverと無償のツール群（AmberTools)に分かれており、 SolverのビルドにはAmberToolsのビルドも必要になります。 2020年2月17日時点での最新版は、Amber（Solver）がVersion 18 、 AmberTools が Version 19となります。 前回のHPLと同様に、Compiler、数値演算ライブラリ、MPIを変化させてベンチマークを取得していきたいと考えていたのですが... ...

旧来の普通のLustreとクラウド上のLustreの着眼点の違い 前回はLustreファイルシステムの概要を解説をしました。Lustreがどのようなコンセプトで設計され、大容量と高性能を実現しているのかおわかりいただけたのではないでしょうか。さて、前回少し触れましたが、MDS/OSSをそれぞれ2重化して可用性を高めた「普通のLustreの構成」を図にすると、次のようになります。 Lustreをオンプレミスで構成して安定運用しようとすれば、導入コストは数千万円〜になり、高度な技術と経験が必要です。しかし最大スループットなどについてある程度目をつむれば、AWS上でこうした構成を組むことはテ...

さて、今回から実際のアプリケーションについて検証を行っていきます。 今回の実行するアプリケーションはHPLです。 ご存知の方も多いと思いますが、HPLは行列演算能力を測定するベンチマークプログラムです。 HPLは単純なプログラムであるため、実際の科学技術計算の性能傾向との間には乖離があると指摘されていますが、 未だにTop500の指標として使用されているように、純粋な計算機の演算能力を図る指標としては有用だと考えています。 検証対象のハードウェアは以下の通りとなります。 比較のため、Intel社製ハードウェアも用意しました。   CPU Memory O...

昨年、AMD社製サーバ向けCPUブランド EPYCシリーズの第２世代、AMD EPYC™ 7002シリーズ・プロセッサー が販売されました。 このシリーズは x86-64互換（Intel社製Xeon互換）で、Rome（ローマ）というコードネームで開発されていたものです。 この第２世代EPYCプロセッサは、科学技術計算分野において非常に注目されており、弊社でも Gaussian についてベンチマークを実行して性能測定を行っております。 それ以外のアプリケーション、特にソースコード配布でビルド作業が必要なもの、について、本ブログにおいて複数回検証を行っていきたいと思います。 さて、実際のア...

概要 IFTTTの面白さを再発見し、作ってみました。arXiv(RSS feed) ⇒ IFTTT ⇒ Slack 、これでイメージできる方は、はい、それです。 背景 新しい学術情報の収集にarXivのプレプリントを見ている方は少なからずいらっしゃるでしょう。もちろん、それ以外の論文掲載サイトもたくさんありますが、大抵、更新があるかどうかは見に行かないとわからないし、それに、見に行ったけど更新がなくて残念ということもあるでしょう。更新があったときだけ高頻度に読むメディアに通知してくれたら便利ですよね。それも、自分の興味のあるキーワードに引っかかる更新だけについて通知してくれたら・・・。私...

概要 監視や管理を行うソフトウェアの分類にData Center Infrastructure Management というものがあります。 Data Center Infrastructure Managementはデータセンター内の資産管理を行うソフトウェアです。 具体的には、サーバラックが何台あり、どこに配置されているか？ ラックの温度は何度か、消費電力は何wか？といったことを集約して集中管理することができます。 Intel社からData Center Manager(以下DCM)という有償ソフトウェアでリリースされています。 このDCMは各社のIPMIから、センサー情報を...

はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、...

RHEL/CentOSについて 　これらのディストリビューションはその名の通りエンタープライズ用途に用いることを前提に作られ、サポートされています。長期に渡って運用されるシステムのために固定された仕様のまま、セキュリティ対応の修正が入れられています。バージョンが固定されていることで、仕様変更が入らないことが保証され、修正は入っても突然ソフトウエアが使えなくなる恐れはありません。しかしその反面、何年も前に策定された仕様のため、新しいソフトウエアに対応できなくなるという弊害をはらんでいます。 　RHEL6.0/7.0のリリースはそれぞれ2010年/2014年なので、10年前/5年前の仕様となっ...

AMD EPYC の最新世代 Rome、7002シリーズプロセッサーについて、ベンチマークを取得しました！ ベンチマーク取得したアプリケーションは Gaussian です。 1CPUあたりコア数が最大64、メモリ8チャンネル、AVX2対応、と目を引くスペックですが、これを Xeon Cascade Lake と比べるとどうなるのか！？ どうぞご覧ください！ ベンチマーク報告書ダウンロードページはこちら

少し間が空いてしまいました。 今回の記事では、引き続き Compiler について書いていきます。 今回の記事は前回からの続きとなりますので、未読の方はぜひこちらをご覧ください。 パフォーマンスが一定以上出るかどうか 前回の記事でも書きましたが、ここで言う、 「パフォーマンスが一定以上出る」 という表現は、 「他のCompilerと比較してパフォーマンスが極端に低くない」 という意味であり、最適（最速）な組み合わせを求めているわけではありません。 特定の Compiler によって、性能が大きく劣化してしまうケースは、 前回述べた、動作そのものが不安定になるケ...

NGC(NVIDIA GPU CLOUD)のシステム要件および登録手順

NVIDIAが提供しているNGC(NVIDIA GPU CLOUD)の概要

はじめに 　Kamonohashiを使用して、どのように機械学習を進めて行けばよいかを、簡単な例を通して紹介します。機械学習に関して知見が十分あり、Kamonohashiの利用方法を知りたい人は、公式チュートリアルを参照ください。 　Kamonohashiユーザーのための機械学習講座カリキュラムは下記になります。Kamonohashiのアカウント、GitHub/GitLabのアカウントを有する人が対象です。 データセットの準備と登録 サンプルプログラムの準備 テスト環境での実行 Kamonohashiで学習 　Kamonohashiの利用にあたって、利用端末にDo...

Kamonohashiとは 　Kamonohashiとは、上にある絵のような生物ではなくて、日鉄ソリューションズが、AI開発の基盤システムとして提供しているソフトウェアで、5月にオープンソース化されました。データの管理や学習するGPUの割り振りなどをしてくれる開発プラットフォームです。今回は、Kamonohashiの構築について紹介したいと思います。 （カモノハシの絵は、本件のKamonohashiとは一切関係ありません。） 　Kamonohashiは、複数人で、GPU、ストレージを共有し、AI開発をチームで推進することを想定して開発されています。AI開発を、チームで進めるには、学習にお...

概要 　先日、DGX-1を購入した記事を書きました。今回は、DGX-1を現在の他製品と比較したベンチマークを紹介します。 ハードウェア環境 　今回は、DGX-1と、HPC5000-XBWGPU10R4Sに Tesla V100-PCIE(16GB)、RTX2080Tiを搭載して、比較します。ハードウェア環境は下表のとおり。表で分かる通り、RTX2080TiとTesla V100PCIEは、4枚しか持っていません。 機種 NVIDIA DGX-1 HPC5000-XBWGPU10R4S 搭載GPU Tesla V100-SXM2 RTX2080Ti、Tesl...

お客様とソース配布のアプリケーションについて話をしていると、 " アプリケーションビルドに、この Compilerでは問題ないですか " " アプリケーションビルド時に、Compiler の差はどの程度ありますか " という質問を受けることがあります。 今回はこの点について書いていきたいと思います。 話の前提として、" 特定のアプリとCompilerの組み合わせ" については、組み合わせ数が膨大となり、ここでは書ききれません。 あくまで一般論となってしまうことはご了承下さい。 また、Compiler が問題ない、と判断する基準は、 安定して動作する事 パフォー...