前回の技術ブログでは、Windows環境でOpenVINO™を試しました。 Intel OpenVINO™でAIを加速させよう！ インストール編 | HPCシステムズ Tech Blog 今回はUbuntu環境でOpenVINO™にチャレンジします。 使用したマシンは、残念ながら販売終了となってしまった産業向けワークステーション「IPC-R790PA-TR5」です。 CPU：Intel Core i9-14900K GPU：SPARKLE Intel Arc A310 ECO というハードウェア構成です。 なお、本ブログで紹介する動作環境の構築は、インターネット接...

目的 ローカルLLMを用いた生成AI活用に向けて、推論を中心としたパフォーマンス（体感速度、同時アクセス数）を明らかにすべく、ベンチマーク検証を行いました。 ハードウェアの決定のために最低限必要な情報は「どのGPUを何枚で」どのモデルが動くかです。 対象モデルは、現状精度の高い Llama 3.1 8B、Llama 3.1 70B、Gemma 2 9B、Gemma 2 27B としました。 検証・結果 ユーザーの体感速度 検証方法 各条件で1つのRequestを処理した際の、Throughput (token/sec) を計測 対象モデル：Llama 3.1 8B, ...

概要 深層学習にGPUが好適とよく言われていますが、比較的安価なGPUからハイエンドのものまで様々なGPUがある中で、深層学習計算の高速化にどのようなハードウェア構成が適しているのでしょうか。GPUのスペックを見ると、理論性能値に加えてGPUメモリ容量、GPUメモリ帯域幅も様々ですし、複数GPU間の高速通信を可能とするNVLinkもあります。これらの選択肢がある中で、どの指標を優先的に考慮すべきなのでしょうか。 本稿では、DNNの学習計算について、ベンチマーク結果からその答えを導いてみます。 ベンチマーク環境 本稿で用いるデータは弊社内で過去に取得したベンチマークからとなりますため、2...