はじめに 近年、生成AIや大規模言語モデル（LLM）の活用がビジネス・研究・開発の現場でも急速に進んでいます。しかし、「実際にどう使えばいいのか分からない」「技術的なハードルが高そう」「セキュリティ上のリスクが高い」「回答の確からしさが保証できない」と感じている方も多いのではないでしょうか。  本記事では、LLMの概要からセキュリティ・カスタマイズ性に優れたローカルLLMの実践、RAGの実装までを解説します。  大規模言語モデル（LLM）とRAG （Retrieval-Augmented Generation）とは 大規模言語モデル（LLM）は、膨大な量のテキストデータを学習することで...

目的 ローカルLLMを用いた生成AI活用に向けて、推論を中心としたパフォーマンス（体感速度、同時アクセス数）を明らかにすべく、ベンチマーク検証を行いました。 ハードウェアの決定のために最低限必要な情報は「どのGPUを何枚で」どのモデルが動くかです。 対象モデルは、現状精度の高い Llama 3.1 8B、Llama 3.1 70B、Gemma 2 9B、Gemma 2 27B としました。 検証・結果 ユーザーの体感速度 検証方法 各条件で1つのRequestを処理した際の、Throughput (token/sec) を計測 対象モデル：Llama 3.1 8B, ...