ファイルだって並列でDistributeしたい 前回のpdshには、pdcpというファイルコピーを複数のサーバーへ並列で行うユーティリティが存在します。これを用いれば、クラスターノードを増設で全てのマシンの/etc/hostsを更新したいとか、ライセンスサーバーのアドレスが変わったので静的ルートの設定ファイルを一斉に更新したいとか、そういうケースでコマンド一発でしかも並列実行できます。多数のファイルを一斉に送信できるという意味のパラレルではありませんのでご注意下さい。 転送 基本的に使い方はpdshと変わりません。-wや-gで標的となるホスト名やグループを指定します。次に展開するファイル...

PDSHとは もともとIBMのクラスター管理ユーティリティ群だったClusterITの中にあったdsh(Distributed shell)のパラレル版です。dshは同じ処理を多数のマシンで行いたい場合に使うものですが、クラスターシステムの大規模化やスピードアップのために、並列動作に対応させたのがPDSHです。 RHEL/CentOSではEPELリポジトリからインストール可能ですし、ビルド自体も難しくはありません。PDSHソースコード配布元はこちら。 ここでは計算ノードがnode001からnode128まで128台あるとし、ログインしている管理ノードからは、全てのマシンにパスワードなしで...

背景 システムは壊れることを前提に、ユーザーの優先順位に従い、被害を最小限にするよう設計されます。つまり、被害の定義や優先順位によってその設計は変わってくることになります。ここではそのための用語と方針について、簡単に触れてみたいと思います。 冗長化（Duplication) システムの運用が連続的に続けられる性質を可用性（Availability)とよび、それを実現するために同じものを複数用意し、いつでもどちらかが利用可能とすることを冗長化と呼びます。冗長の具合により最低限必要な個数をNとしてN+1といった表現を用います。RAID6はN+2相当と考えられます。冗長化は可用性を高めるための...

背景 「自分で書いたメモが読めない・・・」こんな経験はないでしょうか。 字が汚な過ぎたというのはともかく、紙の質やインクが薄かったり、濡れてしまったり、理由はいろいろあると思います。 記録メディアはどうでしょうか。光学メディアに傷を付けて読み込みエラーになったり、書き込みに失敗したり、 ドライブの相性で読めなかったりということがあります。CDは蒸着したアルミ薄膜が酸化して読めなくなることがあるようです。思い出の一枚はチェックしておいたほうが良さそうです。 また、留まるところを知らない半導体や記録媒体の微細化、信号の高速化により、データは常に変容する危険性を はらんでいます。ここでは大容...

Gaussianは量子化学計算のアプリケーションで、この分野においてデファクトスタンダードとなっています。（公式HP) 2018年4月3日時点での最新版は、Gaussian 16 rev.B01 となります。 今回のベンチマーク環境は以下となります。   第２世代環境 （第2世代インテルXeonスケーラブルプロセッサ） 第１世代環境 （第１世代インテルXeonスケーラブルプロセッサ） CPU Xeon Platinum 8268 x 2 ( 2.9GHz/24Core ) x 2 Xeon Gold  6154 ( 3.0 GHz/18Core ...

これまで科学技術計算のボトルネックはCPUなどの計算そのものによるものでした。ストレージへの要求も、巨大ファイルの格納が可能な大容量、それを保存するためのスループット（帯域幅）が主要な要件だったように思います。 しかし、昨今のAI・ビッグデータのブームの到来とともに、膨大な数のデータが主役となっています。いかに多くのデータを効率的に保存し、検索可能とし、再利用ができるか？が鍵となっています。特にデータ同士の相関を取るなどの統計処理において、その傾向は顕著です。これまでデータベースのための要件であった高IOPS・低レイテンシといった応答性能の向上が、ストレージハードウエア及びファイルシステムに対して求められています。

VASPは密度汎関数法による平面波・擬ポテンシャル基底を用いた第一原理電子状態計算プログラムパッケージです。（公式HP) 2018年4月3日時点での最新版は、Version 5.4.4 patch1 ( patch.5.4.4.16052018 ) となります。 今回のベンチマーク環境は以下となります。   第２世代環境 （第2世代インテルXeonスケーラブルプロセッサ） 第１世代環境 （第１世代インテルXeonスケーラブルプロセッサ） CPU Xeon Platinum 8268 x 2 ( 2.9GHz/24Core ) x 2 Xeon G...

HPC Packの概要 HPC PackはMicrosoftが提供するHPC用のソリューションです。 ノードデプロイ、ジョブスケジュール、ノード管理、監視の機能が搭載されています。 管理可能なノードとしてはWindowsからCentOSなどのLinuxディストリビューションまで、 幅広く対応しています。 オンプレミスの環境だけでなく、Azure対応といったクラウド上での動作もサポートしています。 最新のバージョンはHPC Pack 2016がリリースされています。 HPC Pack2016で搭載された機能 GA版で搭載された機能 ・HA機能 ・Azure Active Di...

弊社では、お客様のご要望に応じてノートPCにLinuxをセットアップ※1しています。 今回、新しいノートPC(MSI GS65 Stealth 8SF)※2にセットアップしました。 ※1 事前にご相談ください。 ※2 最新のRTX20(Turing)世代GPU搭載機です。すっごーい！ 普通にnvidia-docker2も動作しました。 GPUのメモリも8GBありますし、DeepLearningもお手元で気軽に試せますね。 ということで軽くスクリーンショットをご紹介します。 本体は1.9Kgと高性能ノートでは軽量級ですが、 ACアダプタは重量級です...

今回ベンチマークを行うアプリケーションはAmberです。 Amberは生体分子シミュレーション用アプリケーションです。（公式HP) Amber は 有償のSolverと無償のツール群（AmberTools)に分かれており、SolverのビルドにはAmberToolsのビルドも必要になります。 2018年4月3日時点での最新版は、Amber（Solver）、AmberTools 、共にVersion 18となります。 この Amber 18 & AmberTools 18 の組み合わせですが、 インテル🄬 Parallel Studio XE 2018と相性が悪く、ビルド中...

第２世代IntelXeonスケーラブルプロセッサでHPLのベンチマークを行い、第１世代IntelXeonスケーラブルプロセッサと比較した。

第2世代 インテル Xeon スケーラブル プロセッサーで導入されたVNNIの状況と将来についてまとめてみました。

Intel社から新世代Xeonがついに発表されました。社内検証機に搭載されているXeonについて、発表された資料から前世代と比較してみます。

開発名 Cascade Lake と呼ばれる Xeon CPU を搭載した検証機が社内に到着しました。今後検証を開始していきます。

ARM64のWSが評価用に入った訳なんですが、 まずは軽いベンチでも行なおうという事で、HPCチャレンジベンチマークをやってみる事にしました。 HPCチャレンジベンチマークは にある7つのベンチマークを行なってスパコンの性能を調査するベンチマークで、京がHPCチャンレンジ賞を取った事とか、古くは地球シミュレーターでMPIFFTでトップに立った話などを聞き及んだ事があるかと思います。 大型クラスター向けのベンチマークなので、1台のマシンで取っても仕方ない面はあったり、STAR◯◯というベンチマーク結果の説明が少なかったり、結果が盛り難いという難点？があったりはするのですが、複数の視点か...

背景 数百～数千の並列度を有する高密度プロセッサを搭載した、一筐体で2000Wの消費電力を超える計算機が散見されるようになってきました。こうした計算機は、熱の排出と温暖化という側面において環境影響が著しく、その緩和策を提案することは弊社にとって重要な責務であると考えています。 HPC事業部では、科学技術計算アプリケーションの精緻なビルドに日々取り組み、より高速なバイナリを調製する技術を磨いています。しかし、計算機の抜本的な省電力化のためには、こうした取り組みだけでなく、省電力ハードウェアへの積極的な技術資源投資が不可欠です。 昨今、パブリック/プライベートなクラウドのデータセンターをHP...

ARMで動きそうなもの、開発してねという依頼が来ました。 最初、Raspberry Piでも使うのかと吃驚しましたが、そうではなく、ARM64のWSでという事でした。色々、ARMに関しては動きがありますが、 ・アップルが次世代CPUにARMを採用するのではないかという推測が出ているらしい事。 ・マイクロソフトがARMで動くwindowsを開発した事。 ・ARMをソフトバンクが購入した事。 一般的なトピックとしてはこれらが有名かなと思います。 ARMは、組み込みの分野で大きなシェアを持っていますが、一般的な知名度では、スマホのCPUとして知られているかなと思います。 スマホ、携帯電...

皆様、はじめまして。 Rinocerosと申します。 HPC向けのアプリケーション検証を担当しております。 さて、この度、本社に以下の筐体が届きました。 ２UのARMサーバーです。 THUNDERX2というロゴがある通り、Cavium社の高性能コンピュータ向けARMプロセッサ、ThunderX2が搭載されています。 ARM系列のCPUというと、携帯電話等、小型の電子機器に搭載されているイメージですが、最近では業務用サーバー向けの高性能CPUも開発されています。 2011年に世界１位の性能となり話題になった日本のスーパーコンピュータ、京コンピュータ、についてはご存知の方も多いと思い...

2018年4月24日、ベルサール高田馬場にて、NVIDIA Deep Learning Seminar 2018 に出展致しました。数多くのご来場者様がブースを訪れてくださり、有難うございます！