HPCシステムズではエンジニアを募集しています。詳しくはこちらをご覧ください。
HPCシステムズのエンジニア達による技術ブログ

Tech Blog

HPC

AMD EPYC Rome の性能検証その１

昨年、AMD社製サーバ向けCPUブランド EPYCシリーズの第２世代、AMD EPYC™ 7002シリーズ・プロセッサー が販売されました。このシリーズは x86-64互換（Intel社製Xeon互換）で、Rome（ローマ）というコードネームで開発されていたものです。この第２世代EPYCプロセッサは、科学技術計算分野において非常に注目されており、弊社でも Gaussian についてベンチマークを実行して性能測定を行っております。それ以外のアプリケーション、特にソースコード配布でビルド作業が必要なもの、について、本ブログにおいて複数回検証を行っていきたいと思います。さて、実際のアプリケーションの...
2020.01.15 Rhinoceros
HPC
HPC

arXiv新記事を自動で見張らせてみた

概要IFTTTの面白さを再発見し、作ってみました。arXiv(RSS feed) ⇒ IFTTT ⇒ Slack 、これでイメージできる方は、はい、それです。背景新しい学術情報の収集にarXivのプレプリントを見ている方は少なからずいらっしゃるでしょう。もちろん、それ以外の論文掲載サイトもたくさんありますが、大抵、更新があるかどうかは見に行かないとわからないし、それに、見に行ったけど更新がなくて残念ということもあるでしょう。更新があったときだけ高頻度に読むメディアに通知してくれたら便利ですよね。それも、自分の興味のあるキーワードに引っかかる更新だけについて通知してくれたら・・・。私（この記事の...
2020.01.06 nabeo
HPC
HPC

Intel Data Center Managerについて

概要監視や管理を行うソフトウェアの分類にData Center Infrastructure Managementというものがあります。Data Center Infrastructure Managementはデータセンター内の資産管理を行うソフトウェアです。具体的には、サーバラックが何台あり、どこに配置されているか？ラックの温度は何度か、消費電力は何wか？といったことを集約して集中管理することができます。Intel社からData Center Manager(以下DCM)という有償ソフトウェアでリリースされています。このDCMは各社のIPMIから、センサー情報を取得して、温度、消費電力、各...
2019.12.27 to
HPC
HPC

AWSが拓いたLustreファイルシステム新時代 -1-

はじめにHPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から...
2020.02.03 morimoto
HPC
HPC

OS付属コンパイラが古すぎて困った人へ

RHEL/CentOSについて　これらのディストリビューションはその名の通りエンタープライズ用途に用いることを前提に作られ、サポートされています。長期に渡って運用されるシステムのために固定された仕様のまま、セキュリティ対応の修正が入れられています。バージョンが固定されていることで、仕様変更が入らないことが保証され、修正は入っても突然ソフトウエアが使えなくなる恐れはありません。しかしその反面、何年も前に策定された仕様のため、新しいソフトウエアに対応できなくなるという弊害をはらんでいます。　RHEL6.0/7.0のリリースはそれぞれ2010年/2014年なので、10年前/5年前の仕様となっています...
2019.11.08 morimoto
HPC
HPC

AMD EPYC 7002シリーズ(Rome) ベンチマーク Gaussian

AMD EPYC の最新世代 Rome、7002シリーズプロセッサーについて、ベンチマークを取得しました！ベンチマーク取得したアプリケーションは Gaussian です。1CPUあたりコア数が最大64、メモリ8チャンネル、AVX2対応、と目を引くスペックですが、これを Xeon Cascade Lake と比べるとどうなるのか！？どうぞご覧ください！ベンチマーク報告書ダウンロードページはこちら
2019.10.02 nabeo
HPC
HPC

Compilerの種類、Versionに関する話（その２）

少し間が空いてしまいました。今回の記事では、引き続き Compiler について書いていきます。今回の記事は前回からの続きとなりますので、未読の方はぜひこちらをご覧ください。 パフォーマンスが一定以上出るかどうか前回の記事でも書きましたが、ここで言う、「パフォーマンスが一定以上出る」という表現は、「他のCompilerと比較してパフォーマンスが極端に低くない」という意味であり、最適（最速）な組み合わせを求めているわけではありません。特定の Compiler によって、性能が大きく劣化してしまうケースは、前回述べた、動作そのものが不安定になるケースよりは数が少ないです。Compiler によって...
2019.10.02 Rhinoceros
HPC
HPC

NGC(NVIDIA GPU CLOUD)のシステム要件および登録手順

NGC(NVIDIA GPU CLOUD)のシステム要件および登録手順
2019.07.12 to
HPC
HPC

NGC(NVIDIA GPU CLOUD)の概要

NVIDIAが提供しているNGC(NVIDIA GPU CLOUD)の概要
2019.07.12 to
HPC
DL

Kamonohashi初心者講座

はじめに　Kamonohashiを使用して、どのように機械学習を進めて行けばよいかを、簡単な例を通して紹介します。機械学習に関して知見が十分あり、Kamonohashiの利用方法を知りたい人は、公式チュートリアルを参照ください。　Kamonohashiユーザーのための機械学習講座カリキュラムは下記になります。Kamonohashiのアカウント、GitHub/GitLabのアカウントを有する人が対象です。 データセットの準備と登録 サンプルプログラムの準備 テスト環境での実行 Kamonohashiで学習　Kamonohashiの利用にあたって、利用端末にDockerがインストールされていること...
2019.08.07 tabata
DL
DL

Kamonohashiを構築してみた

Kamonohashiとは　Kamonohashiとは、上にある絵のような生物ではなくて、日鉄ソリューションズが、AI開発の基盤システムとして提供しているソフトウェアで、5月にオープンソース化されました。データの管理や学習するGPUの割り振りなどをしてくれる開発プラットフォームです。今回は、Kamonohashiの構築について紹介したいと思います。（カモノハシの絵は、本件のKamonohashiとは一切関係ありません。）　Kamonohashiは、複数人で、GPU、ストレージを共有し、AI開発をチームで推進することを想定して開発されています。AI開発を、チームで進めるには、学習において、学習環...
2019.08.16 tabata
DL
DL

DGX-1 ベンチマークレポート

概要　先日、DGX-1を購入した記事を書きました。今回は、DGX-1を現在の他製品と比較したベンチマークを紹介します。ハードウェア環境　今回は、DGX-1と、HPC5000-XBWGPU10R4Sに NVIDIA® V100-PCIE(16GB)、RTX2080Tiを搭載して、比較します。ハードウェア環境は下表のとおり。表で分かる通り、RTX2080TiとNVIDIA® V100PCIEは、4枚しか持っていません。機種NVIDIA DGX-1HPC5000-XBWGPU10R4S搭載GPUNVIDIA® V100-SXM2RTX2080Ti、NVIDIA® V100-PCIE搭載GPU数（最大...
2019.07.09 tabata
DL
HPC

Compilerの種類、Versionに関する話（その１）

お客様とソース配布のアプリケーションについて話をしていると、" アプリケーションビルドに、この Compilerでは問題ないですか "" アプリケーションビルド時に、Compiler の差はどの程度ありますか "という質問を受けることがあります。今回はこの点について書いていきたいと思います。話の前提として、" 特定のアプリとCompilerの組み合わせ" については、組み合わせ数が膨大となり、ここでは書ききれません。あくまで一般論となってしまうことはご了承下さい。また、Compiler が問題ない、と判断する基準は、 安定して動作する事 パフォーマンスが一定値以上出る事（パフォーマンスが極端に...
2019.07.03 Rhinoceros
HPC
HPC

意外と知られていない？Googleのメモツール

日々、膨大な情報の渦の中でさまざまな思索を行う中、思いついたアイデア、ふと思い出したこと、忘れちゃいけないことを、あとでぱっと取り出せるように保管しておきたいことがあります。こうした用事を片付けるのに様々なツールを試されたことが、これを読んでいる貴方も、あるのではないでしょうか。そんな中、意外とあまり知られていない（ような気がします；筆者経験上）、Googleによるツール「Google Keep」を私は愛用しているので、他のツールと比べながら、紹介したいと思います。 ツールその１「自分の脳（記憶）」・・・覚えておく。 長所：持ち物が一切不要。 短所：忘れることがある（忘れない人はここで解決・完...
2019.06.17 nabeo
HPC
HPC

Intel Math Kernel Library ( Intel MKL ) について

時々、お客様からIntel Math Kernel Library ( Intel MKL ) に関する質問を受けます。最近、Intel MKLはソース配布のHPC向けアプリケーションでも対応例が多いため、興味を持たれている方も多い印象です。そのため、今回は Intel MKLについて解説します。〇 Intel MKL とはIntel MKLは数値演算ライブラリの１種で、主な機能としては BLAS ( Basic Linear Algebra Subprograms ）、LAPACK ( Linear Algebra PACKage ) となります。数値演算ライブラリ、BLAS、LAPACKと...
2019.06.04 Rhinoceros
HPC
HPC

サインして自分だけのオリジナルコンテナイメージを作ろう

背景どこかで聞いたようなタイトルですが・・・。さて、DockerやSingularityなどのコンテナは、インターネット回線があれば公開リポジトリにあるイメージをどんどん持ってきて、自分の環境で利用することができます。反面、そのイメージの品質やセキュリティレベルについては自己責任です。しかし、中に何が入っているかつぶさに調べてからでないと使えないというのでは、せっかくの利便性が活きません。昨年Docker hubに登録されていたイメージの中に、仮想通貨のマイニングツールが仕込まれているものが複数見つかるという事件が起きたことから、利便性に隠れて見て見ぬふりをされてきた議論が一気に活発になりまし...
2019.06.04 morimoto
HPC
HPC

短時間ジョブのスループットについてのシンプルな実験

背景ビッグデータという言葉もそろそろ使い古され、耳にする機会も減ってきた気がしますが、そういう分野がなくなってしまったわけではなく、そうしたサイズのデータを扱うことが当たり前になったという解釈が妥当そうです。実際、ビッグデータという単語を聞かなくなったこととは裏腹に、これまで得られた多数の計算結果を網羅的に統計処理をしたり、データ間の相関を取るなど、直接計算結果を得ることの先の業務が必要になって来ていると、よく耳にするようになりました。その分析にAI的な手法を用いることで効率的に目的（予算の獲得ではなく・・・）を達成できることもあるようですが、コンピュータ資源の利用方法が従来と大きく変わったこ...
2019.06.04 morimoto
HPC
HPC

UBIとSingularityと

UBIとは先日Redhat Enterprise LInux 8がリリースされました。使い勝手の面ではあまり変わりませんが、内部的に多くの更新や変更がはいっており、期待が高まるところです。ところで、同時に発表されたUniversal Base Image(UBI)が話題になっています。これはコンテナ専用のOSイメージで、Redhat社の公式OSイメージであるにも関わらず無償で提供され、再配布まで可能になっています。そのため、自分でコンテナイメージを作る必要がなく、拾ってきたイメージに何かが仕込まれているといった懸念もありません。サブセットながら公式のリポジトリがあり、yumやdnfでアップデー...
2019.06.04 morimoto
HPC
HPC

ARMでGROMACS

HPCチャレンジを動かして、大まかなARMのcpuの性格が分ったという事で、では、実アプリじゃどうなのか、という話になりました。OSは共通、さらに、gccやclang、flangが使用可能という事で、ソースがあるlinux上の大抵のアプリはポート出来るとは思いはするものの、やはり、ポーティングされた例が多いものである方が成功する可能性は高いと考えられます。ポーティング例が多く、ソースが付属しているとなると、やはりOpenSouce系のアプリが良いでしょう。という訳で、gromacsをビルドして動かしてみる事にしました。gromacsを選択する理由として1、OpenSourceであり、ユーザー数...
2018.08.03 fujita
HPC
HPC

PDCP使ってますか？

ファイルだって並列でDistributeしたい前回のpdshには、pdcpというファイルコピーを複数のサーバーへ並列で行うユーティリティが存在します。これを用いれば、クラスターノードを増設で全てのマシンの/etc/hostsを更新したいとか、ライセンスサーバーのアドレスが変わったので静的ルートの設定ファイルを一斉に更新したいとか、そういうケースでコマンド一発でしかも並列実行できます。多数のファイルを一斉に送信できるという意味のパラレルではありませんのでご注意下さい。転送基本的に使い方はpdshと変わりません。-wや-gで標的となるホスト名やグループを指定します。次に展開するファイル名、コピー先...
2019.05.21 morimoto
HPC
次のページ