Jetson Orin Nano Super 8GBは「エッジでローカルLLMを動かす」機材としてよく名前が挙がりますが、実際どこまでできるのでしょうか。当サイトが自前で計測した8件の実測データをもとに、できること・できないこと、用途別の実用度、電力効率と電気代、購入前に知っておきたい落とし穴までを一次実測ベースで整理します。
結論
- 1B前後の小型モデルは20〜140 tok/sと快適。日本語チューニング済みのLFM2.5 1.2B JPは57.46 tok/s・TTFT 252.9msと特に軽快で、日本語チャット用途には有力です。
- 4B級のQwen3.5 4Bでも12.56 tok/sで、対話でストレスのない目安（約15〜20 tok/s以上）にはやや届かないものの、黙読に追いつく目安（約7〜10 tok/s）は超えます。
- VLM（画像を見て答える）は2Bクラスで実測済み（Qwen3-VL 2B：36.44 tok/s）。7B級以上のVLM・音声対話・コーディング精度は当サイトでは未実測（計測プラン参照）です。
- 消費電力は8件すべて11.6〜20.7Wの範囲。25W電源モードでも「エッジ機」らしい省電力に収まります。
- 8GBメモリの実用上限は概算7〜8B級（必要VRAM早見表のQ4_K_M目安）ですが、自前実測ではQwen2.5 7B・Nemotron 3 Nano 4Bともロード時にCUDAメモリ確保エラー（OOM）となり、速度データは未取得でした（後述）。外部の報告値（MLC/INT4という別経路）は分けて紹介します。
- 電源モード（15W／25W／MAXN_SUPER）の速度差も実測済みです（後述）。15Wは25W比で速度-26.9%にとどまり、TDPの単純比ほどには落ちませんでした。
- 同じ形式の実測はRaspberry Pi 5（CPUのみ）版、AI HAT+ 2を足すとどうなるかはRaspberry Pi 5 + AI HAT+ 2の実測で扱っています。
自前実測8件の全記録
2026年6〜7月に計測した全8件です。速度（tok/s）の速い順に並べています。
| モデル | 量子化 | 速度（tok/s） | TTFT（ms） | 消費電力（W） | 最高温度（℃） | ランタイム | 計測日 |
|---|---|---|---|---|---|---|---|
| LFM2.5 230M | Q8_0 | 140.54 | 219.1 | 15.7 | 56.1 | ollama 0.31.1 | 2026-07-02 |
| LFM2.5 1.2B JP | Q4_K_M | 57.46 | 252.9 | 20.5 | 59.3 | ollama 0.31.1 | 2026-07-02 |
| Llama 3.2 1B | Q8_0 | 45.85 | 1265.9 | 17.6 | 55.1 | ollama 0.21.2 | 2026-06-23 |
| Qwen3-VL 2B（VLM） | Q4_K_M | 36.44 | 716.9 | 18.1 | 57.9 | ollama 0.21.2 | 2026-06-23 |
| Qwen2.5 1.5B | Q4_K_M | 35.61 | 1243.4 | 16.3 | 55.8 | ollama 0.21.2 | 2026-06-16 |
| Qwen3.5 0.8B | Q8_0 | 21.76 | 1188.0 | 11.6 | 56.0 | ollama 0.21.2 | 2026-06-16 |
| Ministral 3 3B | Q4_K_M | 19.29 | 665.8 | 20.7 | 62.2 | ollama 0.31.1 | 2026-07-02 |
| Qwen3.5 4B | Q4_K_M | 12.56 | 1536.3 | 18.7 | 62.7 | ollama 0.21.2 | 2026-06-14 |
※ 数値はすべて自前機材での実測です（ollama API・2回平均・num_predict=256）。ランタイムはモデルごとにollama 0.21.2／0.31.1が混在しています（新しいアーキほど新しいランタイムが必要な理由は後述の「落とし穴」参照）。電源モードは運用上25W固定（2026-07-02以前の個別記録にはモード欄がなく未記録）・アクティブ冷却下で、温度は計測中の最大値です。計測条件の詳細は実測の進め方の記事にまとめています。
用途別に判定する
実測データがある用途は実測から、ない用途は正直に「未実測」と書きます。
| 用途 | 判定 | 根拠 |
|---|---|---|
| 日本語チャット | ◎ | 日本語チューニング済みのLFM2.5 1.2B JPが57.46 tok/s・TTFT 252.9msと軽快。汎用モデルでも0.8B〜1.5B級で21.76〜45.85 tok/sの実測があり速度面は十分（応答の質そのものは別軸で本機では未評価） |
| VLM（画像を見て答える） | ○ | Qwen3-VL 2Bで36.44 tok/s・TTFT 716.9ms。2B級は実用速度。7B級以上のVLMは未実測（計測プラン参照） |
| 音声対話（STT→LLM→TTS） | 未実測 | 往復レイテンシは計測プラン参照 |
| コーディング補助 | 未実測 | 生成速度自体は12.56〜140.54 tok/sと複数モデルで確認済みだが、コード生成の精度は未計測（経験則では速度は足りている可能性があるが要検証）。計測プラン参照 |
| 7〜8B級モデル | ✕ | Qwen2.5 7B・Nemotron 3 Nano 4Bともollama／Q4_K_MでCUDAメモリ確保エラー（OOM）となり未計測。MLC等の別経路は未検証 |
| 常時稼働サーバ | ◎ | 全8件が11.6〜20.7W。25W電源モードでも温度は55.1〜62.7℃（アクティブ冷却下）に収まる |
電力効率と24時間稼働の電気代
電力効率はtok/s ÷ 消費電力(W)、24時間稼働の電気代は消費電力(W) ÷ 1000 × 24時間 × 31円/kWhで計算しています（31円/kWhは当サイトが他記事でも使っている全国平均目安）。
| モデル | 消費電力（W） | tok/s/W | 電気代（円/日） | 電気代（円/月・30日換算） |
|---|---|---|---|---|
| LFM2.5 230M | 15.7 | 8.95 | 11.7 | 350 |
| LFM2.5 1.2B JP | 20.5 | 2.80 | 15.3 | 458 |
| Llama 3.2 1B | 17.6 | 2.61 | 13.1 | 393 |
| Qwen3-VL 2B | 18.1 | 2.01 | 13.5 | 404 |
| Qwen2.5 1.5B | 16.3 | 2.18 | 12.1 | 364 |
| Qwen3.5 0.8B | 11.6 | 1.88 | 8.6 | 259 |
| Ministral 3 3B | 20.7 | 0.93 | 15.4 | 462 |
| Qwen3.5 4B | 18.7 | 0.67 | 13.9 | 417 |
最も電力を使うMinistral 3 3Bでも、24時間つけっぱなしで月462円。最軽量のLFM2.5 230Mとの差は月110円ほどで、どのモデルを選んでも電気代は月500円未満に収まります。ただし本試算は生成中の消費電力がそのまま24時間続いた場合の理論上限です。実運用では入力待ちのアイドル時間が挟まるため、体感の電気代はこれより下がります（経験則/要検証）。
実測前に知っておきたい落とし穴
- 電源モードは25Wへの固定が前提: Jetson Orin Nano Superは7W／15W／25Wの電源モードを切り替えられ、モードによって性能が大きく変わります（NVIDIA公式が仕様を公開）。当サイトの実測は運用上すべて
nvpmodelで25Wに固定しjetson_clocksでクロックも固定した状態で行っています（2026-07-02以前の個別記録にはモード欄がなく未記録）。デフォルトのまま低い電源モードで使うと本記事の数値は再現しません。15Wと25W・MAXN_SUPERの速度差は実測済みで、詳しくは後述の「電源モードの実測」を参照してください（7Wモードは未実測（計測プラン参照））。 - ランタイム（JetPack／ollama）のバージョン依存: 新しいモデルアーキテクチャ（LFM2系）は、ollamaが古いとGPU用カーネルが未対応で、気づかないままCPUフォールバックすることがあります。当サイトの実測でも、ollama 0.21.2→0.31.1への更新だけでLFM2.5 230Mが7.3倍（19.14→140.54 tok/s）、LFM2.5 1.2B JPが3.9倍（14.69→57.46 tok/s）速くなりました。「遅い」と感じたらまずランタイムのバージョンを疑うのが鉄則です（GPUフォールバックの実測）。
- 8GBメモリはOS・KVキャッシュと共有: Q4_K_Mの必要メモリはおおよそ「パラメータ数×約0.7GB」が目安（必要VRAM早見表）で、7B級は約5GB・8B級は約6GB程度と理屈の上では8GBに載ります。しかし実測では、Qwen2.5 7B（実測4.7GB）・Nemotron 3 Nano 4B（実測2.8GB）ともロード時にCUDAメモリ確保エラー（OOM）となりました。ollama自身は空きGPUメモリ5.5GiBと判定していたため単純な空き容量不足だけが原因とは言い切れず、8GB機ではGB級の連続したCUDAバッファ確保そのものが不安定という可能性があります（詳しくは後述の「7〜8B級」参照。断定には追加検証が必要）。
電源モードの実測：15W／25W／MAXN_SUPER
2026-07-10に、qwen2.5:1.5b（Q4_K_M）で3つの電源モードを実機で切り替えて計測しました。
| 電源モード | 速度（tok/s） | 消費電力（W） | 最高温度（℃） | TTFT（ms） |
|---|---|---|---|---|
| MAXN_SUPER | 39.05 | 19.6 | 58.8 | 578.7 |
| 25W（id=1） | 36.17 | 17.4 | 60.2 | 574.5 |
| 15W（id=0） | 26.44 | 14.9 | 60.1 | 551.3 |
根拠:
docs/measurements/20260710-jetson-7b-and-power-mode.md（ollama 0.31.1・ウォームアップ1回破棄＋本計測2回平均・入力112トークン・2026-07-10計測）。
- 15Wは25W比で速度-26.9%にとどまり、TDPの単純比（15/25=60%＝速度も同程度に落ちると仮定した場合の-40%）ほどには落ちませんでした。decode速度はメモリ帯域律速の要素が大きく、クロック低下と単純比例しないためと考えられます（経験則/要検証）。
- TTFTは3モードでほぼ横ばい（551.3〜578.7ms）。電源モードは主に持続的なdecode速度に効き、短い入力のprefill/TTFTにはほぼ影響しないという切り分けができました。
- MAXN_SUPERは名前付きの「25W」モードよりさらに+8%程度速く（39.05対36.17 tok/s）、より上位の制限緩和モードです。
既存の実測表との関係（版・モードの違いに注意）: 上の「自前実測8件の全記録」にあるQwen2.5 1.5Bの35.61 tok/s（ollama 0.21.2・電源モード記録なし）は、今回の3モード実測（ollama 0.31.1）とはランタイム版もモードも異なります。今回の「25W（id=1）」実測（36.17 tok/s）が既存値（35.61 tok/s）に近い（+1.6%）ことから、既存の計測は25Wモードで行われていた可能性が高いと考えられますが、当時の記録に電源モードの明記がないため断定はできません（推測）。
7〜8B級：自前実測はOOM、外部の報告値は別経路
2026-07-10に、Qwen2.5 7B（Q4_K_M・4.7GB）とNemotron 3 Nano 4B（nemotron-3-nano:4b・Q4_K_M・2.8GB）を実機で計測しました。結果は両モデルともロード時にCUDAメモリ確保エラーで失敗し、速度データは未取得（未計測）です。
| モデル | サイズ（Q4_K_M） | 結果 | 要求バッファ |
|---|---|---|---|
| Qwen2.5 7B | 4.7GB | OOM（cudaMalloc failed: out of memory。3回再現） | 約4.07GiB |
Nemotron 3 Nano 4B（nemotron-3-nano:4b） | 2.8GB | OOM（cudaMalloc failed: out of memory） | 約2.37GiB |
根拠:
docs/measurements/20260710-jetson-7b-and-power-mode.md（JetPack R36.4.7・ollama 0.31.1・既定構成での計測）。
「7Bは動かせない」と断定はできません。ollama自身の事前チェックは「空きGPUメモリ5.5GiB」と報告しており、数値上は4.07GiB・2.37GiBのどちらも収まるはずですが、実際のCUDAメモリ確保には失敗しました。8GB機ではGB級のCUDAバッファ確保そのものが不安定（空き容量の数値だけでは実際にロードできるかを判断できない）という可能性があり、7B専用の問題と断定するには追加検証が必要です。より小さいバッファに分割されるモデル・量子化や、後述のMLCなど別経路なら通るかは今後の計測課題とします。
なお、nemotron3-nano:4bという当初のタグ名はollamaレジストリに存在せず、正しいタグ名nemotron-3-nano:4bで改めてpullし直しています。
外部の報告値（未検証・当サイトで実測予定）
自前実測（ollama・Q4_K_M経路）とは別に、他社発表の数値を「外部の報告値（未検証・当サイトで実測予定）」として紹介します。上記の自前実測とは条件が異なるため混ぜず、参考情報として分けます。
| モデル | 速度（外部報告） | 条件 | 出典 |
|---|---|---|---|
| Llama 3.2 3B | 43.07 tok/s | INT4・MLC・Superモード | Jetson AI Lab公式 |
| Qwen2.5 7B | 21.75 tok/s | 同上 | Jetson AI Lab公式 |
| Llama 3.1 8B | 19.14 tok/s | 同上 | Jetson AI Lab公式 |
| Nemotron 3 Nano 4B | 18 tok/s | llama.cpp・Q4_K_M・Orin Nano 8GB | NVIDIA公式ブログ |
出典: Jetson AI Lab公式ベンチマーク ／ NVIDIA公式ブログ（Nemotron 3 Nano 4B）。いずれも自社発表で、当サイトのollama実測（num_predict=256・2回平均）とはランタイム・量子化・プロンプト長などの条件が異なるため、直接比較はできません。
上表のQwen2.5 7B（Jetson AI Lab公式・21.75 tok/s）は、MLC（TVM系コンパイラ）とINT4量子化という、当サイトのollama／Q4_K_Mとはランタイム・量子化方式が異なる経路での計測です。当サイトのOOMはollama／Q4_K_M経路での結果であり、MLC／INT4という別経路での可否を否定するものではありません——経路の違いとして区別してください。MLC経由の計測は当サイトでは未実施で、今後の計測候補です。
この機材を入手する
- Jetson Orin Nano Super 8GB：Amazonで見る広告・Amazon
- Jetson Orin Nano Super 8GB（楽天）：楽天で見る広告・楽天
- 公式ページ（仕様確認用）：公式（NVIDIA）広告・公式
実売価格は変動するため、最新の価格はリンク先で確認してください。全数値は検証DB、手元の構成で動くかは動くか診断で確認できます。