Q.同時アクセス数は、
どう設定すればよい？
総要求数と同時数上限の違いを整理。Concurrency・RPS・Burstを使い分け、想定する利用状況に合わせて負荷を作る考え方を学びます。
本文へ移動ローカルLLMは
多人数で使うための、
Q.平均速度が速ければ、
Q.遅くなったとき、
考え方から、コマンド、
01 02 03 04 05
ローカルLLMのGPUサーバーサイジング入門
ローカルLLMは
何人で使える？
性能測定から考える
GPUサーバーの選び方
東京都立産業貿易センター 浜松町館 4F 会議室1
モデルが動くことに加え、複数の要求が重なったときの待ち時間を確認。vLLMの負荷試験とPrometheusの観測を通じて、自社の利用条件に合う構成を考えるための基礎を学びます。
開催概要を見る対象社内・部門でのLLM導入を検討する方
テーマ多人数利用時の性能と待ち時間
開催会場開催・参加無料・定員30名
01 WHY THIS SEMINAR
多人数で使うための、
性能の見方を学ぶ。
「何人で使えるか」は、モデルやGPUの型番だけでは決まりません。入力と出力の長さ、要求が重なる頻度、許容できる待ち時間を整理し、測定結果を構成の検討につなげます。
Q.同時アクセス数は、
Q.平均速度が速ければ、
業務でも快適に使える？
最初の応答までの時間や生成中の速度、要求全体の所要時間を確認。p95などの分布を使い、待ち時間の基準を考えます。
Q.遅くなったとき、
何を確認すればよい？
待機要求数、実行中要求数、KV Cache使用率を観測。Client側の結果とServer側の状態を照らし合わせる読み方を解説します。
参加後の目標：自社で確かめる条件と、見るべき指標を整理できること。利用人数をそのまま並列数とせず、測定条件と結果をセットで判断するための入門講座です。
02 PROGRAM
考え方から、コマンド、
結果の読み解きまで。
実際のコマンドとオプション、図解、資料内のサンプル結果を使って説明します。PCを操作するハンズオンや実機デモは予定していません。
多人数サイジングの考え方
利用人数を要求負荷に置き換える。モデル・メモリ・同時要求数の関係を整理します。
ワークロードと実用基準
入力・出力長と、TTFT・TPOT・E2Eの見方。許容する待ち時間の基準を決めます。
vLLMの負荷試験とコマンド解説
vllm benchの設定例とオプション。num-prompts・max-concurrency・RPS・Burstの関係を図解します。
休憩
03と04の間に10分間の休憩を設けます。
Prometheusによる観測と集計
Running・Waiting・KV使用率を確認。累積値を測定区間の指標へ変換する方法と、Histogramによるp95の推定を解説します。
保存結果の読み解き
サンプル結果から運用候補を考え、構成を検討する際の確認事項と追加検証を整理します。
内容は変更となる場合があります。会場全体での質疑応答は設けていません。
03 WHO SHOULD ATTEND
こんな方におすすめです
- ローカルLLMを社内・部門で使いたい方
- GPUサーバーの構成選定や提案を担当する方
- 単独利用の評価から、多人数利用の検証へ進みたい方
- ベンチマーク結果や監視指標の読み方を整理したい方
環境の準備は不要です
講義資料の図解とコマンド例を見ながら学ぶ形式です。受講のためにGPUサーバーやvLLM、Prometheusを用意する必要はありません。
前提知識の目安
LLM・GPUの基本用語を知っている方を想定しています。LinuxやDockerのコマンド例が登場しますが、当日の操作は求めません。
04 EVENT INFORMATION
開催概要
会場で受講するオフラインセミナーです。参加費は無料です。
- セミナー名
- ローカルLLMは何人で使える？ローカルLLMのGPUサーバーサイジング入門
性能測定から考えるGPUサーバーの選び方 - 開催日時
- 2026年12月8日（火）13:30〜16:00
- 開催形式
- オフライン（会場開催）
- 会場
- 東京都立産業貿易センター 浜松町館
4F 会議室1 - 参加費
- 無料
- 定員
- 30名
- 主催・登壇
- HPCシステムズ株式会社
HPC事業部FAE 越前谷靖幸 - 受講形式
- 講義・コマンド解説・図解ハンズオン・実機デモはありません。
よくあるご質問
受講にGPUやサーバーは必要ですか？
必要ありません。講義資料を用いて説明します。事前のソフトウェアインストールや環境構築も不要です。
当日の質疑応答はありますか？
会場全体での質疑応答は設けていません。ローカルLLMに関するご質問は、社内データや運用環境など、公開の場ではお話しいただきにくい情報を含む場合が多いためです。
実際のコマンドも説明しますか？
はい。vLLMの起動・負荷試験、Prometheusの収集・集計について、設定例と主要なオプションの意味を解説します。当日にコマンドを実行していただく形式ではありません。
自社で何人まで使えるか、この講座で決まりますか？
実際の運用人数は、モデル、入力・出力長、要求の頻度、許容する待ち時間によって変わります。本講座では、自社の条件を整理し、測定して判断するための基礎を学びます。
特定のGPU製品の紹介が中心ですか？
本講座では、多人数利用時の性能の考え方と、負荷試験・観測・結果の読み方を中心に扱います。構成を検討するために、何を確認すればよいかを解説します。
ローカルLLMの導入判断に、測定という根拠を。開催概要を確認する ↗
Contact
お問い合わせ