ローカルLLMスターターセット

ローカルLLM・RAG開発に最適なGPU環境を最短で構築
機密性の高いデータを用いて生成AIを活用

大規模言語モデル(LLM)とRAG (Retrieval-Augmented Generation)とは

大規模言語モデル(LLM)は、膨大な量のテキストデータを学習することで、人間の言語を理解し生成する能力を持ったAIモデルです。
文脈を把握して自然な文章を生成することが可能で、質問応答、文章の自動要約、翻訳、創作文章の生成など、さまざまな言語処理タスクを実行できます。
この技術によって、チャットボット、検索エンジン、推薦システム、自然言語インターフェースなど、多岐にわたる分野で活用され、業務の自動化や顧客対応の効率化に役立つと期待されています。また、専門分野に特化したカスタムモデルを構築することで、特定の業界や用途に最適化された応用が可能です。
また、LLMは大量のパラメータを持つため、効率的な計算資源(GPUサーバーなど)の活用が求められます。適切なハードウェアと最適化手法を組み合わせることで、実用レベルでの高速な応答や大規模な処理が実現されています。
しかしながら、LLMは膨大なデータから言語パターンを学習する一方で、「ハルシネーション」と呼ばれる、事実に反する情報や誤った応答を生成するリスクがあります。これは、学習データの偏りや情報の更新遅れ、あるいは単純にモデルの生成アルゴリズムの特性によるものです。

RAG(Retrieval-Augmented Generation)とは?

こうした正確性の懸念に対処するための有力なアプローチとして、RAG(Retrieval-Augmented Generation)という技術があります。 RAG(Retrieval-Augmented Generation)とは、大規模言語モデル(LLM)に外部の知識を組み合わせて回答を生成する技術です。ユーザーの質問に対して、まず関連する情報を事前に用意したドキュメントなどから検索(Retrieval)し、その情報をもとに自然な文章で回答を生成(Generation)します。これにより、モデルの事前学習に含まれない最新情報や社内特有のナレッジを活用した、より正確で信頼性の高い応答が可能になります。

ローカル環境でLLMを構築するメリット

ローカル環境とは、システムやアプリケーションを自社内のサーバーやネットワーク上で構築・運用する環境です。これにより、セキュリティやプライバシーの管理が安全になり、外部依存を避けられる利点があります。さらに、高いカスタマイズ性により自社のニーズに合わせた最適な構成を選ぶことができ、特別な用途向けの高度な処理が可能になります。
ローカル環境でLLMとRAGを組み合わせたシステムを構築することで、機密性の高いデータや社内情報が外部に流出するリスクを抑え、安心して運用できます。全てのデータが社内に留まるため、情報漏洩対策も徹底可能です。
また、社内の業務内容や特定のニーズに合わせたチューニングやドメイン特化の知識の組み込みが容易です。RAGを活用することで、最新データや社内特有の情報を元に正確な回答が提供できます。

ローカルLLMスターターセットとは

HPCシステムズのローカルLLMスターターセットは、RAGとローカルLLMを組み合わせた大規模言語モデルを、手軽・迅速・安全に構築できるGPUワークステーションモデルです。
初期設定はHPCシステムズのエンジニアが行っており、LLM/RAG開発に適したハードウェア&ソフトウェア一式がプリインストールされているため、最短で取り組みを始めることが出来ます。
クラウドを使わず、社内の文書やデータを活用してRAG(Retrieval-Augmented Generation)を実装することで、機密性の高い情報を安全に扱えるLLM環境構築をご支援いたします。

構築例

Ollamaとは

大規模言語モデル(LLM)をローカル環境で実行できるオープンソースのツール。これにより、クラウドに依存せず、自分のコンピュータ上で直接LLMを利用できるようになります。

Difyとは

初心者から上級者まで誰でも簡単にチャットボットやAIアプリケーションを開発できる、オープンソースのLLMアプリ開発プラットフォーム。
直感的な操作性で、変更内容をリアルタイムで確認しながら開発を進められます。

安心・スピーディにローカルLLMを導入できる3つの特長

セキュアなローカル環境

  • 機微情報をはじめとした社内データをローカル環境内に留め、セキュリティリスクを最小化

短期間で導入可能

  • LLM/RAG開発に適したハードウェア&ソフトウェア一式をプリインストール

導入前後も手厚くサポート

GPUワークステーションラインナップ

モデル HPC2000-CARL104TS HPC3000-XSR108TS HPC3000-XSR116TS-LC HPC3000-XSR116TS HPC3000-XSRGPU4TP-LC HPC5000-XERGPU4TS
HPC2000-CARL104TS HPC3000-XSR108TS HPC3000-XSR116TS-LC HPC3000-XSR116TS HPC3000-XSRGPU4TP-LC HPC5000-XERGPU4TS
ENTRY MID-RANGE HIGH-END
最大LLMパラメーター数
(FP4使用時)
153B 153B 307B 307B 614B
冷却方式 CPU水冷 空冷 CPU/GPU両水冷 空冷 CPU/GPU両水冷 空冷
搭載可能GPU NVIDIA RTX PRO 6000 Max-Q (96GB) ×1 NVIDIA RTX Pro 6000 Blackwell Max-Q ×1 水冷NVIDIA RTX 6000 Ada (48GB) x2 NVIDIA RTX Pro 6000 Blackwell ×1 or Max-Q ×2 水冷NVIDIA RTX 6000 Ada ×4 NVIDIA RTX Pro 6000 Blackwell Max-Q ×4
CPU 水冷インテル Core Ultra プロセッサー (シリーズ2) ×1 第4世代 インテル Xeon W-2400/2500, 3400 x1 水冷第4世代 インテル Xeon W-3400/3500 ×1 第4世代 インテル Xeon W-3400/3500 ×1 水冷第4世代 インテル Xeon W-3400/3500 ×1 第5世代 インテル Xeon スケーラブル・プロセッサー ×2
メモリ 最大128GB 最大512GB 最大512GB 最大512GB 最大512GB 最大512GB
ストレージ 最大30.72TB
(7.68TB SATA SSD ×4)
最大30.72TB
(7.68TB SATA SSD ×4)
最大15.36TB
(7.68TB SATA SSD ×2)
最大30.72TB
(7.68TB SATA SSD ×4)
最大30.72TB
(7.68TB SATA SSD ×4)
最大30.72TB
(7.68TB SATA SSD ×4)
必要電源 100V15A×1回路 100V15A×1回路 100V15A×1回路 100V15A×1回路 100V15A×2回路 200V20A or 30A 1回路(GPU4基搭載時) /
100V15A×2回路
参考価格 RTX Pro 6000 Max-Q (96GB) ×1基構成 2,500,000円
(税込 2,750,000円)
RTX Pro 6000 Max-Q (96GB) ×1基構成 2,850,000円
(税込 3,135,000円)
RTX 6000 Ada (48GB) ×2基構成 4,350,000円
(税込 4,785,000円)
RTX Pro 6000 Max-Q (96GB) ×2基構成 4,950,000円
(税込 5,445,000円)
RTX 6000 Ada (48GB) ×4基構成 7,850,000円
(税込 8,635,000円)
RTX Pro 6000 Max-Q (96GB) ×3基構成 7,950,000円
(税込 8,745,000円)
生成AIモデル
※25年5月時点
llama4:scout
(67GB / Meta)
gemma3:27b
(17GB / Google)
mistral-small3.1:24b
(15GB / Mistral-AI)
llama4:scout
(67GB / Meta)
gemma3:27b
(17GB / Google)
mistral-small3.1:24b
(15GB / Mistral-AI)
llama4:scout
(67GB / Meta)
llama4:maverick
(245GB / Meta)
gemma3:27b
(17GB / Google)
mistral-small3.1:24b
(15GB / Mistral-AI)
Embeddingモデル
※25年5月時点
nomic-embed-text:v1.5
(274MB / Nomic)
備考
  • 上記内容は一例です。用途・ご予算に合わせて構築内容の変更が可能です。
  • ラックマウント対応の際は別途ラックマウントキットが必要となります。
  • 各モデルの動作可否・推論速度はパラメーター数、精度、コンテキスト長、バッチサイズ等によって異なります。
    本ページは動作可能な目安として記載しております。
詳細はお問い合わせ下さい。

NVIDIA RTX 6000 Ada

参考価格 
税抜 1,350,000
(税込 1,485,000円)

NVIDIA RTX Pro 6000 Blackwell Series

参考価格 
税抜 1,500,000
(税込 1,650,000円)

ローカルLLMの活用例

研究支援

専門分野のリサーチリスト作成や文献要約を自動化。関連論文の探索でも言語モデルが類似キーワードを判断し、テーマに関連する論文を幅広く探索。

社内問い合わせ対応

社内文書を読み込ませることで、就業規則や社内ルールについても正確な回答を自動作成。問い合わせに対する対応コストの削減を実現。

製品開発支援

設計仕様書やテストケースの生成、顧客フィードバック分析を自動化し、開発サイクルを短縮。

AIチャット活用までのご支援が必要なお客様へ!
オンプレミスAIチャット導入ソリューション+伴走支援が付帯 「neoAI Chat for オンプレミス」サービスのご案内

neoAIが提供する高精度な生成AIシステム「neoAI Chat for オンプレミス」と「オフィス設置可能な静音AIサ ―バ/水冷ワークステーション」とでAI活用をご支援するサービスを開始しました。これにより、「サーバの設置に適した場所がない」「機密情報を外部に送信できない」「AI導入の専門家がいない」といった理由でAI導入をためらっていた企業でも、大規模言語モデル(LLM)および検索拡張生成(RAG)技術を利用した生成AIシステムを手軽に導入・運用することが可能になります。

neoAI Chat for オンプレミス

HPCシステムズの AI / DeepLearning ソリューション

Contact

お問い合わせ

お客様に最適な製品をご提案いたします。まずは気軽にお問い合わせ下さい。
03-5446-5531

平日9:30~17:30 (土曜日、日曜日、祝祭日、年末年始、夏期休暇は、休日とさせていただきます。)