大規模言語モデル(LLM)は、膨大な量のテキストデータを学習することで、人間の言語を理解し生成する能力を持ったAIモデルです。
文脈を把握して自然な文章を生成することが可能で、質問応答、文章の自動要約、翻訳、創作文章の生成など、さまざまな言語処理タスクを実行できます。
この技術によって、チャットボット、検索エンジン、推薦システム、自然言語インターフェースなど、多岐にわたる分野で活用され、業務の自動化や顧客対応の効率化に役立つと期待されています。また、専門分野に特化したカスタムモデルを構築することで、特定の業界や用途に最適化された応用が可能です。
また、LLMは大量のパラメータを持つため、効率的な計算資源(GPUサーバーなど)の活用が求められます。適切なハードウェアと最適化手法を組み合わせることで、実用レベルでの高速な応答や大規模な処理が実現されています。
しかしながら、LLMは膨大なデータから言語パターンを学習する一方で、「ハルシネーション」と呼ばれる、事実に反する情報や誤った応答を生成するリスクがあります。これは、学習データの偏りや情報の更新遅れ、あるいは単純にモデルの生成アルゴリズムの特性によるものです。
ローカル環境とは、システムやアプリケーションを自社内のサーバーやネットワーク上で構築・運用する環境です。これにより、セキュリティやプライバシーの管理が安全になり、外部依存を避けられる利点があります。さらに、高いカスタマイズ性により自社のニーズに合わせた最適な構成を選ぶことができ、特別な用途向けの高度な処理が可能になります。
ローカル環境でLLMとRAGを組み合わせたシステムを構築することで、機密性の高いデータや社内情報が外部に流出するリスクを抑え、安心して運用できます。全てのデータが社内に留まるため、情報漏洩対策も徹底可能です。
また、社内の業務内容や特定のニーズに合わせたチューニングやドメイン特化の知識の組み込みが容易です。RAGを活用することで、最新データや社内特有の情報を元に正確な回答が提供できます。
モデル | HPC2000-CARL104TS | HPC3000-XSR108TS | HPC3000-XSR116TS-LC | HPC3000-XSR116TS | HPC3000-XSRGPU4TP-LC | HPC5000-XERGPU4TS |
---|---|---|---|---|---|---|
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
|
ENTRY | MID-RANGE | HIGH-END | ||||
最大LLMパラメーター数 (FP4使用時) |
153B | 153B | 307B | 307B | 614B | |
冷却方式 | CPU水冷 | 空冷 | CPU/GPU両水冷 | 空冷 | CPU/GPU両水冷 | 空冷 |
搭載可能GPU | NVIDIA RTX PRO 6000 Max-Q (96GB) ×1 | NVIDIA RTX Pro 6000 Blackwell Max-Q ×1 | 水冷NVIDIA RTX 6000 Ada (48GB) x2 | NVIDIA RTX Pro 6000 Blackwell ×1 or Max-Q ×2 | 水冷NVIDIA RTX 6000 Ada ×4 | NVIDIA RTX Pro 6000 Blackwell Max-Q ×4 |
CPU | 水冷インテル Core Ultra プロセッサー (シリーズ2) ×1 | 第4世代 インテル Xeon W-2400/2500, 3400 x1 | 水冷第4世代 インテル Xeon W-3400/3500 ×1 | 第4世代 インテル Xeon W-3400/3500 ×1 | 水冷第4世代 インテル Xeon W-3400/3500 ×1 | 第5世代 インテル Xeon スケーラブル・プロセッサー ×2 |
メモリ | 最大128GB | 最大512GB | 最大512GB | 最大512GB | 最大512GB | 最大512GB |
ストレージ | 最大30.72TB (7.68TB SATA SSD ×4) |
最大30.72TB (7.68TB SATA SSD ×4) |
最大15.36TB (7.68TB SATA SSD ×2) |
最大30.72TB (7.68TB SATA SSD ×4) |
最大30.72TB (7.68TB SATA SSD ×4) |
最大30.72TB (7.68TB SATA SSD ×4) |
必要電源 | 100V15A×1回路 | 100V15A×1回路 | 100V15A×1回路 | 100V15A×1回路 | 100V15A×2回路 | 200V20A or 30A 1回路(GPU4基搭載時) / 100V15A×2回路 |
参考価格 |
RTX Pro 6000 Max-Q (96GB) ×1基構成
2,500,000円 (税込 2,750,000円) |
RTX Pro 6000 Max-Q (96GB) ×1基構成
2,850,000円 (税込 3,135,000円) |
RTX 6000 Ada (48GB) ×2基構成
4,350,000円 (税込 4,785,000円) |
RTX Pro 6000 Max-Q (96GB) ×2基構成
4,950,000円 (税込 5,445,000円) |
RTX 6000 Ada (48GB) ×4基構成
7,850,000円 (税込 8,635,000円) |
RTX Pro 6000 Max-Q (96GB) ×3基構成
7,950,000円 (税込 8,745,000円) |
生成AIモデル ※25年5月時点 |
llama4:scout (67GB / Meta) gemma3:27b (17GB / Google) mistral-small3.1:24b (15GB / Mistral-AI) |
llama4:scout (67GB / Meta) gemma3:27b (17GB / Google) mistral-small3.1:24b (15GB / Mistral-AI) |
llama4:scout (67GB / Meta) llama4:maverick (245GB / Meta) gemma3:27b (17GB / Google) mistral-small3.1:24b (15GB / Mistral-AI) |
|||
Embeddingモデル ※25年5月時点 |
nomic-embed-text:v1.5 (274MB / Nomic) |
|||||
備考 |
|
専門分野のリサーチリスト作成や文献要約を自動化。関連論文の探索でも言語モデルが類似キーワードを判断し、テーマに関連する論文を幅広く探索。
社内文書を読み込ませることで、就業規則や社内ルールについても正確な回答を自動作成。問い合わせに対する対応コストの削減を実現。
設計仕様書やテストケースの生成、顧客フィードバック分析を自動化し、開発サイクルを短縮。
neoAIが提供する高精度な生成AIシステム「neoAI Chat for オンプレミス」と「オフィス設置可能な静音AIサ ―バ/水冷ワークステーション」とでAI活用をご支援するサービスを開始しました。これにより、「サーバの設置に適した場所がない」「機密情報を外部に送信できない」「AI導入の専門家がいない」といった理由でAI導入をためらっていた企業でも、大規模言語モデル(LLM)および検索拡張生成(RAG)技術を利用した生成AIシステムを手軽に導入・運用することが可能になります。
平日9:30~17:30 (土曜日、日曜日、祝祭日、年末年始、夏期休暇は、休日とさせていただきます。)