HPCシステムズではエンジニアを募集しています。詳しくはこちらをご覧ください。
HPCシステムズのエンジニア達による技術ブログ

Tech Blog

LLM

DL

AI・人工知能EXPOの様子

こんにちは！HPC事業部 技術グループのnabeoです。本日から3日間、AI・人工知能EXPOの『生成AI Hub』エリアに弊社出展しております。開会10:00すぐから足を運ばれたお客様もいらして、高い熱量が今年も続いています🔥お越しいただいたお客様と会話させていただいてわかったこととして、情報セキュリティなどを背景として、ローカルLLMの時代が現実味を帯びてきている実感があります。そして、展示している弊社ソリューションがそこに有効ということについても！金曜日4/17まで展示しております！ローカルLLMや生成AI導入を検討中の方、これからやってみようかなとお考えの方、どうぞお気軽にお越しくださ...
2026.04.15 nabeo
DL
HPC

自社サーバーでのLLMに挑戦！ローカルLLM＋RAG環境を構築してみた

はじめに近年、生成AIや大規模言語モデル（LLM）の活用がビジネス・研究・開発の現場でも急速に進んでいます。しかし、「実際にどう使えばいいのか分からない」「技術的なハードルが高そう」「セキュリティ上のリスクが高い」「回答の確からしさが保証できない」と感じている方も多いのではないでしょうか。 本記事では、LLMの概要からセキュリティ・カスタマイズ性に優れたローカルLLMの実践、RAGの実装までを解説します。 大規模言語モデル（LLM）とRAG （Retrieval-Augmented Generation）とは大規模言語モデル（LLM）は、膨大な量のテキストデータを学習することで、人間の言語を理...
2025.05.09 matsuo
DLHPC
DL

L40S, H100 NVL上でのLLM推論学習検証報告

目的ローカルLLMを用いた生成AI活用に向けて、推論を中心としたパフォーマンス（体感速度、同時アクセス数）を明らかにすべく、ベンチマーク検証を行いました。ハードウェアの決定のために最低限必要な情報は「どのGPUを何枚で」どのモデルが動くかです。対象モデルは、現状精度の高い Llama 3.1 8B、Llama 3.1 70B、Gemma 2 9B、Gemma 2 27B としました。検証・結果 ユーザーの体感速度検証方法 各条件で1つのRequestを処理した際の、Throughput (token/sec) を計測 対象モデル：Llama 3.1 8B, Llama 3.1 70B、Gemm...
2024.12.13 nabeo
DL