さて、今回から実際のアプリケーションについて検証を行っていきます。 今回の実行するアプリケーションはHPLです。 ご存知の方も多いと思いますが、HPLは行列演算能力を測定するベンチマークプログラムです。 HPLは単純なプログラムであるため、実際の科学技術計算の性能傾向との間には乖離があると指摘されていますが、 未だにTop500の指標として使用されているように、純粋な計算機の演算能力を図る指標としては有用だと考えています。 検証対象のハードウェアは以下の通りとなります。 比較のため、Intel社製ハードウェアも用意しました。   CPU Memory O...

昨年、AMD社製サーバ向けCPUブランド EPYCシリーズの第２世代、AMD EPYC™ 7002シリーズ・プロセッサー が販売されました。 このシリーズは x86-64互換（Intel社製Xeon互換）で、Rome（ローマ）というコードネームで開発されていたものです。 この第２世代EPYCプロセッサは、科学技術計算分野において非常に注目されており、弊社でも Gaussian についてベンチマークを実行して性能測定を行っております。 それ以外のアプリケーション、特にソースコード配布でビルド作業が必要なもの、について、本ブログにおいて複数回検証を行っていきたいと思います。 さて、実際のア...

概要 IFTTTの面白さを再発見し、作ってみました。arXiv(RSS feed) ⇒ IFTTT ⇒ Slack 、これでイメージできる方は、はい、それです。 背景 新しい学術情報の収集にarXivのプレプリントを見ている方は少なからずいらっしゃるでしょう。もちろん、それ以外の論文掲載サイトもたくさんありますが、大抵、更新があるかどうかは見に行かないとわからないし、それに、見に行ったけど更新がなくて残念ということもあるでしょう。更新があったときだけ高頻度に読むメディアに通知してくれたら便利ですよね。それも、自分の興味のあるキーワードに引っかかる更新だけについて通知してくれたら・・・。私...

概要 監視や管理を行うソフトウェアの分類にData Center Infrastructure Management というものがあります。 Data Center Infrastructure Managementはデータセンター内の資産管理を行うソフトウェアです。 具体的には、サーバラックが何台あり、どこに配置されているか？ ラックの温度は何度か、消費電力は何wか？といったことを集約して集中管理することができます。 Intel社からData Center Manager(以下DCM)という有償ソフトウェアでリリースされています。 このDCMは各社のIPMIから、センサー情報を...

RHEL/CentOSについて 　これらのディストリビューションはその名の通りエンタープライズ用途に用いることを前提に作られ、サポートされています。長期に渡って運用されるシステムのために固定された仕様のまま、セキュリティ対応の修正が入れられています。バージョンが固定されていることで、仕様変更が入らないことが保証され、修正は入っても突然ソフトウエアが使えなくなる恐れはありません。しかしその反面、何年も前に策定された仕様のため、新しいソフトウエアに対応できなくなるという弊害をはらんでいます。 　RHEL6.0/7.0のリリースはそれぞれ2010年/2014年なので、10年前/5年前の仕様となっ...

AMD EPYC の最新世代 Rome、7002シリーズプロセッサーについて、ベンチマークを取得しました！ ベンチマーク取得したアプリケーションは Gaussian です。 1CPUあたりコア数が最大64、メモリ8チャンネル、AVX2対応、と目を引くスペックですが、これを Xeon Cascade Lake と比べるとどうなるのか！？ どうぞご覧ください！ ベンチマーク報告書ダウンロードページはこちら

少し間が空いてしまいました。 今回の記事では、引き続き Compiler について書いていきます。 今回の記事は前回からの続きとなりますので、未読の方はぜひこちらをご覧ください。 パフォーマンスが一定以上出るかどうか 前回の記事でも書きましたが、ここで言う、 「パフォーマンスが一定以上出る」 という表現は、 「他のCompilerと比較してパフォーマンスが極端に低くない」 という意味であり、最適（最速）な組み合わせを求めているわけではありません。 特定の Compiler によって、性能が大きく劣化してしまうケースは、 前回述べた、動作そのものが不安定になるケ...

NGC(NVIDIA GPU CLOUD)のシステム要件および登録手順

NVIDIAが提供しているNGC(NVIDIA GPU CLOUD)の概要

はじめに 　Kamonohashiを使用して、どのように機械学習を進めて行けばよいかを、簡単な例を通して紹介します。機械学習に関して知見が十分あり、Kamonohashiの利用方法を知りたい人は、公式チュートリアルを参照ください。 　Kamonohashiユーザーのための機械学習講座カリキュラムは下記になります。Kamonohashiのアカウント、GitHub/GitLabのアカウントを有する人が対象です。 データセットの準備と登録 サンプルプログラムの準備 テスト環境での実行 Kamonohashiで学習 　Kamonohashiの利用にあたって、利用端末にDo...

Kamonohashiとは 　Kamonohashiとは、上にある絵のような生物ではなくて、日鉄ソリューションズが、AI開発の基盤システムとして提供しているソフトウェアで、5月にオープンソース化されました。データの管理や学習するGPUの割り振りなどをしてくれる開発プラットフォームです。今回は、Kamonohashiの構築について紹介したいと思います。 （カモノハシの絵は、本件のKamonohashiとは一切関係ありません。） 　Kamonohashiは、複数人で、GPU、ストレージを共有し、AI開発をチームで推進することを想定して開発されています。AI開発を、チームで進めるには、学習にお...

概要 　先日、DGX-1を購入した記事を書きました。今回は、DGX-1を現在の他製品と比較したベンチマークを紹介します。 ハードウェア環境 　今回は、DGX-1と、HPC5000-XBWGPU10R4Sに Tesla V100-PCIE(16GB)、RTX2080Tiを搭載して、比較します。ハードウェア環境は下表のとおり。表で分かる通り、RTX2080TiとTesla V100PCIEは、4枚しか持っていません。 機種 NVIDIA DGX-1 HPC5000-XBWGPU10R4S 搭載GPU Tesla V100-SXM2 RTX2080Ti、Tesl...

お客様とソース配布のアプリケーションについて話をしていると、 " アプリケーションビルドに、この Compilerでは問題ないですか " " アプリケーションビルド時に、Compiler の差はどの程度ありますか " という質問を受けることがあります。 今回はこの点について書いていきたいと思います。 話の前提として、" 特定のアプリとCompilerの組み合わせ" については、組み合わせ数が膨大となり、ここでは書ききれません。 あくまで一般論となってしまうことはご了承下さい。 また、Compiler が問題ない、と判断する基準は、 安定して動作する事 パフォー...

日々、膨大な情報の渦の中でさまざまな思索を行う中、思いついたアイデア、ふと思い出したこと、忘れちゃいけないことを、あとでぱっと取り出せるように保管しておきたいことがあります。こうした用事を片付けるのに様々なツールを試されたことが、これを読んでいる貴方も、あるのではないでしょうか。そんな中、意外とあまり知られていない（ような気がします；筆者経験上）、Googleによるツール「Google Keep」を私は愛用しているので、他のツールと比べながら、紹介したいと思います。 ツールその１「自分の脳（記憶）」・・・覚えておく。 長所：持ち物が一切不要。 短所：忘れることがある（忘...

時々、お客様からIntel Math Kernel Library ( Intel MKL ) に関する質問を受けます。 最近、Intel MKLはソース配布のHPC向けアプリケーションでも対応例が多いため、興味を持たれている方も多い印象です。 そのため、今回は Intel MKLについて解説します。 〇 Intel MKL とは Intel MKLは数値演算ライブラリの１種で、主な機能としては BLAS ( Basic Linear Algebra Subprograms ）、LAPACK ( Linear Algebra PACKage ) となります。 数値演算...

背景 どこかで聞いたようなタイトルですが・・・。 さて、DockerやSingularityなどのコンテナは、インターネット回線があれば公開リポジトリにあるイメージをどんどん持ってきて、自分の環境で利用することができます。反面、そのイメージの品質やセキュリティレベルについては自己責任です。しかし、中に何が入っているかつぶさに調べてからでないと使えないというのでは、せっかくの利便性が活きません。昨年Docker hubに登録されていたイメージの中に、仮想通貨のマイニングツールが仕込まれているものが複数見つかるという事件が起きたことから、利便性に隠れて見て見ぬふりをされてきた議論が一気に活発に...

背景 ビッグデータという言葉もそろそろ使い古され、耳にする機会も減ってきた気がしますが、そういう分野がなくなってしまったわけではなく、そうしたサイズのデータを扱うことが当たり前になったという解釈が妥当そうです。実際、ビッグデータという単語を聞かなくなったこととは裏腹に、これまで得られた多数の計算結果を網羅的に統計処理をしたり、データ間の相関を取るなど、直接計算結果を得ることの先の業務が必要になって来ていると、よく耳にするようになりました。その分析にAI的な手法を用いることで効率的に目的（予算の獲得ではなく・・・）を達成できることもあるようですが、コンピュータ資源の利用方法が従来と大きく変わっ...

UBIとは 先日Redhat Enterprise LInux 8がリリースされました。使い勝手の面ではあまり変わりませんが、内部的に多くの更新や変更がはいっており、期待が高まるところです。ところで、同時に発表されたUniversal Base Image(UBI)が話題になっています。これはコンテナ専用のOSイメージで、Redhat社の公式OSイメージであるにも関わらず無償で提供され、再配布まで可能になっています。そのため、自分でコンテナイメージを作る必要がなく、拾ってきたイメージに何かが仕込まれているといった懸念もありません。サブセットながら公式のリポジトリがあり、yumやdnfでアップ...

HPCチャレンジを動かして、大まかなARMのcpuの性格が分ったという事で、では、実アプリじゃどうなのか、という話になりました。 OSは共通、さらに、gccやclang、flangが使用可能という事で、ソースがあるlinux上の大抵のアプリはポート出来るとは思いはするものの、やはり、ポーティングされた例が多いものである方が成功する可能性は高いと考えられます。ポーティング例が多く、ソースが付属しているとなると、やはりOpenSouce系のアプリが良いでしょう。という訳で、gromacsをビルドして動かしてみる事にしました。 gromacsを選択する理由として 1、OpenSour...

ファイルだって並列でDistributeしたい 前回のpdshには、pdcpというファイルコピーを複数のサーバーへ並列で行うユーティリティが存在します。これを用いれば、クラスターノードを増設で全てのマシンの/etc/hostsを更新したいとか、ライセンスサーバーのアドレスが変わったので静的ルートの設定ファイルを一斉に更新したいとか、そういうケースでコマンド一発でしかも並列実行できます。多数のファイルを一斉に送信できるという意味のパラレルではありませんのでご注意下さい。 転送 基本的に使い方はpdshと変わりません。-wや-gで標的となるホスト名やグループを指定します。次に展開するファイル...