目的 ローカルLLMを用いた生成AI活用に向けて、推論を中心としたパフォーマンス（体感速度、同時アクセス数）を明らかにすべく、ベンチマーク検証を行いました。 ハードウェアの決定のために最低限必要な情報は「どのGPUを何枚で」どのモデルが動くかです。 対象モデルは、現状精度の高い Llama 3.1 8B、Llama 3.1 70B、Gemma 2 9B、Gemma 2 27B としました。 検証・結果 ユーザーの体感速度 検証方法 各条件で1つのRequestを処理した際の、Throughput (token/sec) を計測 対象モデル：Llama 3.1 8B, ...

オンライン開催の GTC 2020（ ）にて NVIDIA CEO Jensen Huang氏 の Keynote がアナウンスされました。発表は NVIDIA YouTube Channel ( ) で 公開されています。プレイリストはこちらです。 AIやデータサイエンス、HPC、自動運転やグラフィックなどに関する新情報が次々と出てきています。 NVIDIA A100 GPU。最新Ampere世代、TensorFloat32に対応し、Sparse Matrixに最適化された新たなTensorCore と 1.5TB/sの高帯域なHBM2を備え、PetaOPS級の性能。ますますD...