「ローカルAIを試したが、遅すぎる／日本語でツールを呼べない／機材に載らない——PoCが頓挫した」。多くは、いきなり大きく投資するか、モデルと機材をカタログ値や雰囲気で決めてしまうのが原因です。
本記事は、当サイトが自前で実測した56件のデータ（RTX A6000・ノートPC・Mac mini・Jetson・Raspberry Pi 5）を根拠に、段階的に小さく始める進め方・成功の7原則・業種別の始め方・PoC事例まで、具体的な数字でまとめます。
ローカルAI PoCが失敗する典型パターン
- いきなり数百万円規模で始める → 課題が後期に発覚し、手遅れ・高コストに。
- 「デモデータ」では動くが「実データ」で崩れる → 精度95%でも、専門用語の誤変換やファイル形式エラーが後から出る。
- 触らないと分からない課題を見落とす → UIの使いやすさ・業務フロー適合・現場の受け入れは、動かして初めて見える。
- 載らない機材に大型モデルを載せる → VRAM超過でCPUオフロード、5〜30倍の減速で実用外（実測: 密70B Q4はA6000 48GBでも約2.17 tok/s）。
- 用途に合わない族を選ぶ → 日本語エージェントを作りたいのに、ツール呼び出し非対応のモデルを選び即詰む。
- 「LLM導入」が目的化する → 目的は本業の課題解決。導入自体がゴールになると評価軸を見失う。
コツ1｜大きく投資する前に「段階的」に始める
最大のコツは、最初から本番環境を組まないこと。小さく安く始め、各段階で課題を洗い出してから次の投資を判断します。これは大規模PoC（数百万円規模）を一気に走らせるより、結果的に速く・安く・確実です。
| 段階 | 目的 | 機材の例 | 期間・費用の目安 | この段階で出る判断 |
|---|---|---|---|---|
| 0 体験 | LLMで解けるか筋を見る | クラウド/API（公開データのみ） | 1週間・数百円〜 | モデル選定・活用方向の仮説 |
| 1 小規模実機 | 実データで課題と効果を定量化 | Mac mini / ノートPC / Jetson | 2週間・数万〜数十万円 | A:自社で本格化 / B:専門家へ相談 / C:中止 |
| 2 本格化 | 複数ユーザー・本番運用 | A6000級GPU | 数十万〜百万円超 | 運用設計・体制 |
- ステップ0（体験）: まずクラウドで「そもそもLLMで解けるか」を確認。機密はクラウドに出さず公開・サンプルデータで。ここで族の当たりを付ける。
- ステップ1（小規模実機）: 安価な実機に実データを入れ、現場2〜5名で2週間運用。処理時間・工数削減・品質・現場の声を記録。専門用語の精度・ファイル形式エラー・業務フロー不整合といった「触らないと分からない課題」がここで出ます。
- ステップ2（本格化）: ステップ1で効果と課題が明確になって初めて、GPU環境で大型モデル・複数ユーザーへ。
業者・専門家に相談するなら「課題を明確にしてから」
曖昧な依頼（「ローカルLLMを導入したい」）は汎用・高額提案を招きます。ステップ1で課題を数字にしておけば（例:「日本語の専門用語精度が不足、処理が時々停止する」）、専門家は的確な提案・見積もりを返せます。本格導入の設計や実装でつまずいたら、課題を整理した上で専門家へ（Link Field）。
効果は必ず「金額」に換算する
「月◯時間削減 → 年◯円の効果 → 投資回収◯ヶ月」まで出すと、次段階の投資判断が一気に明確になります。指標と回収の考え方はローカルAIのROI指標を参照。
コツ2｜ハードで何が変わるか（同じモデルでも最大55倍差）
「大きいモデルは小さい機材でも一応動く。ただし遅い」——ここを誤解するとPoCが崩れます。同じQwen3.5 4B（Q4_K_M）を当サイトの全機材で実測した結果が分かりやすい証拠です。
| 機材 | メモリ | メモリ帯域 | 生成速度 | 消費電力 | 電力効率 |
|---|---|---|---|---|---|
| RTX A6000 48GB | 48GB | 768 GB/s | 123.5 tok/s | 217.6W | 0.57 tok/s/W |
| Mac mini M4 16GB | 16GB | 120 GB/s | 29.3 tok/s | 12.3W | 2.38 tok/s/W |
| Jetson Orin Nano Super 8GB | 8GB | 102 GB/s | 12.6 tok/s | 18.7W | 0.67 tok/s/W |
| Raspberry Pi 5 8GB | 8GB | 17 GB/s | 2.24 tok/s | 7.5W | 0.30 tok/s/W |
根拠: 検証DB（56件）（同一プロトコルでの実測値）
ポイントは3つです。
- 生成速度はほぼ「メモリ帯域」で決まる。A6000（768GB/s）とPi5（17GB/s）の帯域差は約45倍、速度差は約55倍とほぼ一致。LLMの生成は帯域律速なので、ここがボトルネックです。
- 「動く」と「実用」は別。Pi5でも4Bは動きますが2.24 tok/s＝体感は厳しい。小さい機材は小さいモデルが原則。
- 効率なら省電力機が圧勝。Mac mini M4はわずか12.3Wで29 tok/s（2.38 tok/s/W）。常時稼働なら速度より効率が効きます（電力効率の実測）。
そしてVRAMを超えると一気に崩れる：A6000でも密70B Q4はVRAMに収まらずオフロードして約2.17 tok/s、ノートPC（RTX 4060 8GB）は7B級まで快適（Qwen2.5 7B=51.9 tok/s）でも14B級はオフロードで失速します。「大きいモデルが欲しい」なら、収まる機材を用意するか、量子化・MoEで収めるのが先決です。
機材ティアの早見表
| ティア | 例 | 実用レンジ | 向くPoC |
|---|---|---|---|
| 省電力・常時 | Pi5 / Jetson / Mac mini | 〜4B級（Macは7B級も） | エッジ・小規模FAQ・PoC体験 |
| ノート/単GPU | RTX 4060〜4090 | 7〜14B級 | 部門内ツール・小規模実機検証 |
| ワークステーション | A6000 48GB | 27〜32B密・35B級MoE | 日本語エージェント・複数ユーザー本格化 |
機材の具体的な選び方はローカルAIの機材ガイド、診断は動くか診断で。
成功の7原則
1｜成功指標を先に数値で決める
「何ができれば成功か」を数値で。例: 生成◯tok/s以上、日本語ファンクションコール正答率◯%以上、電力◯W以下。指標の無いPoCは「なんとなく動いた／動かない」で終わります。
2｜速度より先に「用途で族を選ぶ」
実測では、日本語で正しくツールを呼べるのはQwen系がほぼ一択でした（日本語FC正答率: Qwen3.6=1.00 / Mistral Small=0.78 / DeepSeek-R1=0.17 / Gemma3・Mixtral・Falcon3・Teukenはツール非対応で0.00）。
- 日本語エージェント・ツール運用 → Qwen系
- 推論・難問の単発QA → DeepSeek-R1（ただしツールは呼ばない＝エージェント不可）
- 汎用・効率 → Mistral / Falcon
根拠: 出身国×得意分野×日本語の実測 / エージェント実用度インデックス
3｜機材は「収まる範囲で最良」を選ぶ
速度はほぼVRAM/メモリに収まるかで決まります（前章）。まず動くか診断で、手元の機材×モデルが載るか・速度の目安を確認してから着手を。
4｜量子化とMoEを味方にする
- 量子化でVRAMに収める（Q4_K_Mが定番。量子化はどれを選ぶ）。
- MoEは総サイズが大きくても実行時は一部だけ＝「大きいのに速い」（実測: A6000でMixtral 46.7Bが約79 tok/s）。RAMオフロード耐性も高く、128GB RAM機なら大型MoEも実用に近い（巨大モデルをローカルで動かす）。
5｜速度は「総実時間」で見る
tok/s単体でなく、日本語の文字/秒（日本語≈1.8文字/トークン）と、エージェントならレイテンシ×ステップ数＝総実時間で評価します。動くか診断の用途トグルで総実時間とコスト概算が出ます。
6｜電力・コストを初期に見積もる
常時稼働PoCは電気代が効きます。効率はMac mini M4が最強（2.38 tok/s/W）、ノートPCも0.66〜1.70と高め、A6000は速いが効率は0.1〜0.57。速さのA6000・効率のMac/ノートを用途で使い分け（検証DB）。
7｜必ず実機で実測する（カタログ値で決めない）
当サイトの全数値は自前実測です。PoCでも固定プロンプト・2回平均程度の簡易計測を回し、カタログ値ではなく実測で判断を。手順は計測プロトコル、条件・生データはオープンデータ（CC BY 4.0）。
業種別の始め方
用途とデータの性質で、向く族・機材・コツが変わります。以下は経験則（要検証。族の推奨は当サイトの日本語FC実測が根拠）。
| 業種 | PoCに向く用途 | 推奨族 | 機材ティア | コツ |
|---|---|---|---|---|
| 製造業 | 図面・手順書QA、不良報告の要約 | Qwen系 | ステップ1=Mac/ノート→本格=A6000 | 機密のためステップ0は公開情報のみ。専門用語精度を実データで早期検証 |
| 建設・測量・公共 | 仕様書/成果品チェック、調書下書き | Qwen系 | A6000級（専門語＝精度重視） | 用語・様式が独特。実データでの精度確認を最優先 |
| 士業・自治体 | 文書要約、問い合わせ一次応答 | Qwen系 | ノート〜A6000 | 個人情報を外に出さないローカル完結が最大の利点 |
| 小売・サポート | FAQ自動応答、レビュー分析 | Qwen / Mistral | ノート〜Mac mini | 常時稼働＝電力効率重視（Mac/ノート） |
| ソフト開発 | コード補助、社内ナレッジ検索 | 中〜大型＋Qwen系 | A6000級 | 推論はR1も可、ただしツール連携はQwen |
社内サーバとして常設する場合の構成は社内ローカルAIサーバの作り方を参照。
PoC事例（段階モデルのウォークスルー）
想定ケース「社内文書QAボット」（想定例・経験則／要検証）。
- ステップ0｜体験: クラウドで「社内マニュアルのQAがLLMで実用になるか」を、公開できる範囲のサンプルで確認。Qwen系が日本語抽出に強い当たりを付ける（数百円・1週間）。
- ステップ1｜小規模実機: Mac mini M4（実測 Qwen3.5 4B=29.3 tok/s・12.3W）またはノートPC（Qwen2.5 7B=51.9 tok/s）で実データを投入。現場3名・2週間で、日本語の抽出精度・PDF/Excelの取り回し・使い勝手・処理時間を記録。
- 判断: 精度が足りる→ステップ2。専門用語で詰まる→課題を数字にして専門家へ（選択肢B）。効果が出ない→中止（選択肢C）。
- ステップ2｜本格化: A6000でQwen 27B級（日本語FC=1.0）に上げ、複数ユーザー＋社内検索ツール連携へ。常時稼働の電力も検証DBで見積もり。
すべて着手前に動くか診断で機材×モデルの可否・速度を確認するのが鉄則です。
落とし穴チェックリスト
- いきなり本番規模で始めていないか（→ 段階的に）
- デモデータでなく実データで検証したか
- VRAM超過でオフロードしていないか（→ 動くか診断）
- 推論モデルをエージェントに使っていないか（DeepSeek-R1はツールを呼ばない）
- ツール非対応モデルを選んでいないか（Gemma3・Mixtral 等は ollama でツール不可）
- 日本語の引数破損が無いか（族依存。Qwen系が無難）
- ストレージ寿命を見ているか（AIは書き込み過多でSSDが摩耗 → AIでSSDが壊れる）
- 効果を金額に換算したか（→ ROI指標）
まとめ — 次のアクション
- 段階的に始める（体験→小規模実機→本格化）。各段で課題を洗い、次の投資を判断。
- まず動くか診断で手元の機材×モデルの可否・速度を確認。
- 検証DB（56件）で実測の速度・電力を比較し、機材ガイドで機材を選ぶ。
- 課題を数字にできたら、本格導入は専門家への相談も選択肢（Link Field）。
PoC成功の核は、「小さく段階的に始め、実機で実測し、用途に合う族と収まる機材を選ぶ」。カタログ値ではなく自前の数字で意思決定すれば、ローカルAIの検証は驚くほど通ります。