「AI PCを買えばローカルLLMが速く動く」——2026年の新世代ハードを巡る代表的な誤解の一つです。Copilot+ AI PCのNPU、大容量ユニファイドメモリ機、そして新登場のJetson Thor。本記事は、これら新世代エッジHWでローカルLLMの生成速度は実際どう変わるのかを、TOPSの誇大とメモリ帯域の現実を踏まえて整理し、結局2026-2027に何を買うべきかを用途別に示します。
速度の大原則はローカルLLMは帯域律速で詳説しています。本記事はその“法則”を新世代HWに当てはめた実践編です。
① AI PC（Copilot+/NPU）― 速くはならない
NPUのTOPS（40+でCopilot+認定）は、ローカルLLMの生成速度をほとんど予測しません。理由は2つ。
- LLMの生成は帯域律速で、TOPS（小型・低精度演算のピーク値）ではない。
- 主要ランタイム（ollama/llama.cpp）はNPUを使わず、GGUFモデルはCPU/iGPUに回る。
✗ よくある誤解
「NPUのTOPS（40+）が大きいAI PCなら、ローカルLLMが速く動く」
○ 実際
生成（decode）はメモリ帯域律速。TOPSよりメモリ帯域とVRAM容量が速度を決める。NPUのTOPS値はtok/sを予測しない。
詳しくは「TOPS神話の検証」「生成速度はメモリ帯域で決まる」の実測へ。
これを当サイトのA6000で確かめました。同じ8B（granite3.3）は、検証DBの実測でGPU実行が約102 tok/s、CPU実行（num_gpu=0）に切り替えると約10 tok/s——同一マシン・同一モデルで、載せる場所を変えただけで約10倍差です。
- GPU実行（A6000・検証DB）102
- CPU実行（num_gpu=0・診断）10
黙読に追いつく目安 10 tok/s
GPUは検証DBの実測、CPUは同一プロトコルでnum_gpu=0に切替えた直接診断（ともにgranite3.3:8b・Q4_K_M・num_predict=256・2回平均・temp0）。載せる場所を変えただけで約10倍。AI PCのNPUは主要ランタイム（ollama/llama.cpp）が使わないため、実態はCPU側に近づく。
要点は、AI PCのNPUはこのCPU実行を肩代わりしてくれないこと（上記のとおり主要ランタイムがNPUを使わない）。つまり"NPU AI PC"でローカルLLMを回すと、実態はGPUの無いCPU側＝1桁〜十数 tok/sに近づきます。NPUは「バッテリーと、小型・常時起動のWindows AI機能」の話で、ローカルLLMを速く回す手段ではありません。同じ「TOPSが大きいNPU＝LLMが速い」の神話は、エッジでもTOPS神話の検証（AI HAT2+のTOPSはCNN画像に効くがLLMには無効）で実測済みです。
GPU値は検証DBの実測（granite3.3:8b・Q4_K_M）。CPU値は同一プロトコル（num_predict=256・2回平均・temp0）で num_gpu=0 に切り替えた本記事の直接診断で、機材ページの標準ベンチ（GPU実行）とは別枠です。NPU AI PC実機（Copilot+/Snapdragon）は当フリートに無いため未計測で、その挙動は「主要ランタイムがNPUを使わない」事実に基づきます。
② 大容量ユニファイドメモリ機 ― “載る”が“速い”ではない
128GB級の大容量メモリ機は、大型モデルを“載せる”のに有効ですが、“実用速度で動く”かは帯域次第です。
| 機材 | メモリ | メモリ帯域（公称） | 位置づけ |
|---|---|---|---|
| AMD Ryzen AI Max+ 395 | 128GB | 256 GB/s | 大型を安価に“載せる”。速度は控えめ |
| NVIDIA DGX Spark | 128GB | 273 GB/s | 開発者向け。70Bは帯域で頭打ち |
| Mac Studio M3 Ultra | 512GB | 約800 GB/s | 巨大モデルを載せられる稀有な選択 |
いずれも演算(TOPS)は十分でも、70B級の生成速度は帯域で決まります（1000 TOPSのDGX Sparkが70Bで遅い理由は帯域律速の記事へ）。「大型が載る」と「速い」を分けて考えるのが鉄則です。大型モデルの現実は巨大モデルをローカルで動かすにも。
表の帯域・TOPS値（DGX Sparkの1000 TOPS含む）は各社の公称値で、当サイトの機材データ＝動くか診断に登録の理論値機材に準拠します。
③ Jetson AGX Thor ― 100B+をエッジへ（ただし用途特化）
2026年に登場したJetson AGX Thorは、エッジAIの新世代旗艦です。
- 128GB LPDDR5X（256bitバス・公称 273 GB/s）、2070 FP4 TFLOPS、消費電力 40〜130W、Blackwell GPU。
根拠:NVIDIA Jetson Thor - 開発キットは 約$3,499。
根拠:Hackster（$3,499） - VLA（Vision-Language-Action）・VLM・LLM を Jetson AI Lab 経由で動かせ、フィジカルAI／ロボティクス向けに設計。
根拠:NVIDIA Newsroom
注目は、帯域273GB/sがDGX Spark並みな点。128GBで100B+を“載せられる”一方、純粋なLLM生成速度は容量ほど劇的には伸びません（帯域律速）。Thorの強みはロボット・組み込みでVLA/VLMを低消費電力で常時動かせる点にあると考えられます。エッジでのVLM活用は、次に予定している「ローカルVLM×地図/現場」記事で深掘りします。Jetsonの省電力・組み込みでの実力はJetson Orin Nano Superの実測へ。
Thorの数値はNVIDIA公称（新製品・当サイト未実機）。価格・流通は変動します。
結局、2026-2027に何を買うか
| 目的 | 最適 | 理由 |
|---|---|---|
| とにかく速く | ディスクリートGPU（RTX） | 帯域が高く、フラッグシップAI PCより安いことも多い |
| モバイル・常時起動の軽いAI | Copilot+ AI PC | NPUは省電力。ただしLLM速度は期待しない |
| 大型モデルを“載せたい” | 大容量ユニファイド機 | 速度は妥協。Mac Studio等 |
| ロボ・組み込み・VLA | Jetson Thor | 低消費電力でVLA/VLMを常時 |
速さ最優先なら、結論は今もディスクリートGPUです。
- 速さの基準・大型も: Amazonで見る広告・Amazon ／ 楽天で見る広告・楽天
- 帯域最上位を取る: Amazonで見る広告・Amazon ／ 楽天で見る広告・楽天
- 省電力・常時起動の入口: Amazonで見る広告・Amazon ／ 楽天で見る広告・楽天
GPUの細かな選び方は自宅GPUの選び方、用途別の最適な1台はローカルAI機材の選び方、手元構成での可否は動くか診断と検証DBで確認できます。
まとめ
- AI PCのNPUはローカルLLMを速くしない（バッテリー用途・小型常時起動向け）。速度は帯域で決まる。
- 大容量ユニファイド機は“載る”が“速い”ではない。容量と帯域を分けて考える。
- Jetson Thorは100B+/VLA/VLMをエッジへ運ぶ新世代だが、ロボ・組み込み特化で、純LLM速度の万能機ではない。
- 速さ最優先は依然ディスクリートGPU。新世代HWは「用途が合えば」効く。
本記事のNPU/Thor等の数値は他社実測の引用・メーカー公称（当サイト未実機）で、量子化・測定条件が混在します。自前実測の速度・電力は検証DB、手元での可否は動くか診断でご確認ください。