Raspberry Pi 5にAI HAT+ 2（Hailo-10H・40TOPS・国内実売約4.4万円。本サイトの一部記事では「AI HAT2+」表記）を足すと、LLMの生成は速くなるのでしょうか。自前実測で確かめると、答えは「速くならない」です。むしろCPU単体より遅くなります。ただし電力とプリフィル（まとまった入力の処理）には別の顔があります。
結論
- 核心: AI HAT+ 2を追加してもLLMの生成（デコード）速度は速くならない。完全に同一のプロンプトで比べると、CPU単体9.72 tok/sに対し、AI HAT+ 2（hailo-ollama経由）は7.05 tok/sとむしろ約38%遅い結果でした（2026-07-10計測。初回計測時の4.75 tok/sは計測方式が異なる値で、詳しくは後述）。
- 約4.4万円を投資しても生成速度が落ちる——これがAI HAT+ 2でチャット高速化を狙う場合の最大の注意点です。
- ただし消費電力は2.4W（CPU単体6.2Wの約1/2.6）。1ワットあたりの生成量（tok/s/W）で見ると、CPU単体1.57に対しAI HAT+ 2は2.94と、電力効率では実はCPUを上回ります。
- TTFTも実測しました（738.3ms）。CPU単体（541.2ms）のほうが197ms速く、Hailo公式が報告するプリフィル優位（320ms）は今回の構成（hailo-ollama経由）では再現しませんでした（詳しくは後述）。
- 画像認識（物体検出など）ではAI HAT+ 2が激変（Hailo使用時のYOLOv8m 76.25 FPSは自前実測。比較基準のCPU実行時3〜5 FPSは外部ベンチの参考値のため、倍率「約15〜25倍」は自前実測同士の比較ではありません。2026-07-11の独立再計測でも76.33 FPSとほぼ一致）。効くのは「読む・書く」より「見る」という結論はTOPS神話の検証と一致します。
- CPUのみのPi5実測は別記事、GPUを積むJetsonとの比較はこちらにまとめています。
AI HAT+ 2とは
Raspberry Pi 5に載せる拡張ボードで、Hailo製のAIアクセラレータHailo-10H（公称40 TOPS・INT4）を搭載します。ボード上にオンボード8GB LPDDR4Xメモリを持ち、Pi5本体のメモリとは別にモデルを保持できます。価格はメーカー想定$130・国内実売は¥44,000前後（スイッチサイエンス）です（Raspberry Pi公式）。
先代の「AI Kit」「AI HAT+」（Hailo-8／8L・最大26TOPS）はカメラ映像の物体検出・姿勢推定などビジョン専用で、LLM推論には対応していませんでした。AI HAT+ 2でHailoがGenAI SDKを新たに用意し、初めてLLM推論に対応した——というのが公式の位置づけです（同上）。この記事では、その新機能であるLLM推論を自前実測で検証します。
AI HAT+ 2は当サイトの検証DBの機材マスタには非登録です。理由は2つあります。(1) 検証DBのスキーマはLLM計測にTTFT（初動時間）を必須項目とするが、AI HAT+ 2側は今回TTFTを計測できていない。(2) 検証DBの「動くか診断」はメモリ帯域からの理論推定（帯域律速モデル）で速度を出す設計だが、Hailoのようなデータフロー型NPUはこの前提が成り立たず、登録すると実態と矛盾する推定値を出しかねないため。以上により、実測値は監査証跡として記録するにとどめています。
自前実測の対決表
完全に同一のプロンプト文字列で、CPU単体とAI HAT+ 2を計測して比べました（2026-07-10）。今回はHailoをhailo-ollama（Ollama互換API）経由で動かし、ストリーミング応答からTTFTとdecodeを分離計測しています。
トラブルシューティング・コラム:
hailo-ollama（0.5.1）は、プロンプト文字列に改行（\n）が含まれると生成が例外なく失敗します（status=8. Failed to generate。再現性確認済み）。今回はプロンプト中の改行をスペースに置換して回避しました（意味内容はほぼ同一）。CPU側もこの置換版プロンプトで計測し、両者を完全に同一の文字列で比較しています。Hailo経由でLLMを動かす際は、プロンプトの改行を事前に除去・置換しておくと安全です。
| 実行方式 | 生成速度（tok/s） | 消費電力（W） | tok/s/W | TTFT（ms） | 最高温度（℃） |
|---|---|---|---|---|---|
| Pi5 CPU単体（ollama 0.31.1・Hailo不使用） | 9.72 | 6.2 | 1.57 | 541.2 | 65.0 |
| Pi5 + AI HAT+ 2（hailo-ollama 0.5.1） | 7.05 | 2.4 | 2.94 | 738.3 | 52.7 |
根拠:
docs/measurements/20260710-pi5-hailo10h-and-cpu-batch2.md（完全同一プロンプト・入力114トークン・ウォームアップ1回破棄＋本計測2回平均・2026-07-10計測）。
同一プロンプトで比べても、CPUがAI HAT+ 2よりdecodeで約38%速く（9.72対7.05 tok/s）、TTFTも197ms速い（541.2対738.3ms）という結果でした。一方で消費電力はAI HAT+ 2が2.4W（CPU単体6.2Wの約1/2.6）、tok/s/Wも2.94対CPU1.57とAI HAT+ 2が上回り、温度も52.7℃とCPU（65.0℃）より12.3℃低く収まります。1000トークン生成あたりの電力（Wh）は消費電力(W) × (1000 ÷ tok/s ÷ 3600)で計算でき、CPU単体は6.2W×(1000÷9.72÷3600)≒約0.177Wh、AI HAT+ 2は2.4W×(1000÷7.05÷3600)≒約0.095Whです。AI HAT+ 2のほうが少ない電力で同じ仕事を終えます（速度が遅い分、時間はかかります）。
当サイトの検証DB（Raspberry Pi 5 8GB 実測一覧）に載っているCPU単体の標準値は10.62 tok/s（通常のベンチ用プロンプト・112トークン）です。上表の9.72 tok/s（今回の置換版プロンプト・114トークン）とは-8.5%の差がありますが、プロンプト文言のわずかな違いによる通常のばらつき範囲内です。
初回計測（2026-06時点・end-to-end方式）との違い
この記事は当初、AI HAT+ 2側を4.75 tok/s・2.5W（Hailo GenAI SDK直接実行・end-to-end計測・2026-06-16計測）、CPU側を10.62 tok/s・7.9Wとして比較していました。4.75→7.05への変化は、ハードウェアが速くなったわけではありません。2つの違いが理由です。
- 計測の切り出し方が違う: 旧計測はプロンプト送信から応答完了までのend-to-end時間で速度を出していました（TTFT分も生成時間に含まれる、厳しめの計測）。新計測は
hailo-ollamaのストリーミング応答からTTFTとdecodeを分離して計測しています。 - ソフトウェアスタックが違う: 旧計測はHailo純正のGenAI SDK（
hailo_platform.genai.LLM）を直接呼び出していました。新計測はhailo-ollama（Ollama互換API）経由です。
新計測（decode専用・hailo-ollama経由）のほうがCPU側と条件を揃えやすく、比較の精度は高いと考えていますが、「4.75→7.05で1.5倍速くなった」という読み方は誤りです。比較するなら同じ方式同士（旧: end-to-end方式のみ／新: decode専用方式のみ）にしてください。以降、本記事の対決表は新計測（decode専用）を採用し、旧計測は参考値として扱います。
プリフィルと生成は別物
AI HAT+ 2のTOPSが効くのは、実は生成（デコード）ではなく画像認識です（プリフィル/TTFTは後述のとおり、今回の実測では優位を確認できていません）。
| タスク | なし（CPU） | あり（Hailo） | 効果 |
|---|---|---|---|
| 物体検出 YOLOv8m | 約3〜5 FPS | 76.25 FPS | 約15〜25倍速い |
| 画像分類 ResNet50 | 数十FPS級（経験則） | 307.64 FPS | 大幅に速い |
| LLM｜ollama標準（Qwen2.5 1.5B） | 10.6 tok/s | 10.6 tok/s | Hailo不使用＝不変 |
| LLM｜Hailo GenAI SDK（同上） | — | 4.75 tok/s / 2.5W | CPUより遅いが超低電力 |
画像（CNN）はAI HAT2+で激変、LLMの速度には効かない。これがTOPS神話の核心です。最下行が決定的で、Hailo専用のGenAI SDKでLLMを実際に動かしても 4.75 tok/s＝CPUの10.6 tok/sより遅い（ただし2.5WとCPU 7.9Wより省電力でCPUを解放）。つまり40 TOPSは画像には効く（308 FPS）が、LLMの速度には効かない。ollama/llama.cppはそもそもHailoを使わずCPU実行（=AI HATの有無で不変）。Hailo・LLMとも当サイトの自前実測（Hailo LLMはHailoRT 5.1.1＋v5.2.0 HEF・end-to-end計測で公称~9.5 tok/sは下回るが「CPU比で速くない」結論は不変）。表のLLM行は2026-06計測のGenAI SDKによるend-to-end値で、decode処理のみに絞った再計測（2026-07・hailo-ollama）ではHAT 7.05 / CPU 9.72 tok/sです。CPUのYOLOは外部ベンチ（根拠: Seeed Studio Wiki 等）。要検証。
物体検出（YOLOv8m）は約15〜25倍、画像分類（ResNet50）も大幅に高速化する一方、LLMの生成はollama標準では不変（Hailo不使用のCPU実行のまま）、hailo-ollama経由で直接動かしても前述のとおりCPU単体より遅い結果でした。「TOPSが大きい＝何でも速い」わけではなく、効くワークロード（主に画像・CNN）が決まっている——これはTOPS神話の検証で実測している結論と一致します（Jetson・CPU・Hailoの3機材比較は同記事参照）。
（2026-07-11追記）上記のYOLOv8m 76.25 FPS・ResNet50 307.64 FPSは、独立した再計測（HailoRT 5.3.0・生ログあり）でもYOLOv8m 76.33 FPS・ResNet50 307.77 FPSと±0.1%以内で一致しました。電力の実測も初めて取得でき、YOLOv8m 2.59W・ResNet50 2.35Wでした。上のグラフに表示されている数値自体は変更していません（差が0.1%未満のため）。
参考として、Hailo公式ブログは同モデル（Qwen2.5 1.5B・4bit量子化・プリフィル96トークン）のTTFTをHailo経由320ms対Pi5 CPU単独2039msと公表しています。これは「外部の報告値（未検証・当サイトで実測予定）」で、自社発表かつプロンプト長や計測条件が当サイトと異なるため直接比較はできません。当サイトの実測TTFT（738.3ms）はこの公式値と大きく乖離しており、「プリフィルはHailoが有利」という傾向は今回の構成では再現しませんでした。hailo-ollamaというラッパー層のオーバーヘッドによるものか、計測条件の違い（プロンプト長・生成トークン数など）によるものかは切り分けられていません（公式値そのものを否定するものではなく、今回の構成での結果です。Hailo公式ブログ）。
独立実測2本も同傾向
当サイト以外の独立した実測でも、同様の傾向が報告されています。「外部の報告値（未検証・当サイトで実測予定）」として、当サイトの自前実測とは分けて紹介します。
両者とも、AI HAT+ 2でのLLM生成速度は1.5B級で6〜8 tok/s程度と報告しており、Pi5 CPU単体（9〜12 tok/s程度）に劣るとしています。当サイトの同一プロンプトでの自前実測（AI HAT+ 2：7.05 tok/s、CPU：9.72 tok/s）は、この外部報告のレンジによく収まっています。「HAT追加でも生成は速くならない」という向きも一致しますが、プロンプトや計測方法の違いがあるため絶対値の直接比較はできません。
なお、一部のレビューやSNSで見かける「CPU比最大18倍」のような見出し数値は、プリフィル（まとまった入力の処理）の数値である可能性が高いと考えられます。Pi5のメモリ帯域（公称約17GB/s）の理論上、生成（デコード）でその倍率は出ません。プリフィルと生成（デコード）は別物という点を押さえておくと、こうした数値に惑わされにくくなります。
では何に使うか
Raspberry Pi公式も「AI HAT+ 2が向く場面・向かない場面」を整理する記事を公開しています（When and why you might need the AI HAT+ 2）。当サイトで実測・確認できた範囲では、次のように整理できます。
- 向く: 常時稼働の物体検出・画像認識（防犯カメラ、現場モニタリング等）。低消費電力（2.4W）でCPUを占有しないため、Pi5本体のCPUを他の処理に空けられます。
- 向く可能性がある（要検証）: まとまった長い入力を一度に処理する用途（RAGの長いコンテキスト読み込みなど）。Hailo公式はプリフィル優位を報告していますが、当サイトの実測TTFT（738.3ms）はCPU単体（541.2ms）より遅く、今回の構成では優位を確認できませんでした。
- 向かない: チャットのようにトークンを1つずつ生成し続ける対話用途。CPU単体のほうが速く、生成速度の面でAI HAT+ 2を足す意味は見出せません。
参考として、別の自作YOLOモデル（丸太検出）の実測でも、Pi5 CPU単体での物体検出は約0.75 FPS（1.3秒／枚）と極めて遅く、常時検出には非現実的という結果が出ています（Jetson GPUでは46.5 FPS。実測記事）。このモデル自体はAI HAT+ 2では計測していませんが、「Pi5のCPU単体だけで画像認識をやらせるのは厳しい」という傾向は、AI HAT+ 2のYOLOv8m実測（CPU比約15〜25倍）とも符合します。CPU単体の画像認識が遅いという傾向そのものが、Hailoのようなアクセラレータの存在意義を裏付けていると言えます。
用途別に判定する
「AI HAT+ 2を追加する価値があるか」を用途別に判定します。
| 用途 | 判定 | 根拠 |
|---|---|---|
| LLMのチャット生成を速くしたい | ✕ | 自前実測で7.05 tok/s（同一プロンプト）。CPU単体9.72 tok/sより遅い |
| LLMを低消費電力で常時稼働させたい | ○ | 2.4W（CPU単体6.2Wの約1/2.6）。tok/s/Wも2.94対CPU1.57でHAT側が上回る |
| まとまった長い入力を素早く処理したい（プリフィル） | △ | Hailo公式は320ms対Pi5 CPU2039msと報告（外部の報告値・未検証）。当サイトの実測TTFTは738.3ms対CPU541.2msとむしろHailoが遅く、今回の構成では再現せず（要検証） |
| 物体検出・画像認識（YOLO等） | ◎ | YOLOv8m 76.25 FPS（自前実測・2026-07-11再計測76.33 FPSで確認済み）・ResNet50 307.64 FPS（自前実測・同307.77 FPSで確認済み）。CPU比約15〜25倍は比較基準（3〜5 FPS）が外部ベンチの参考値 |
| VLM（画像＋LLM連携） | 未実測 | 計測プラン参照 |
精度等について
- 対決表（2026-07-10計測）: CPU側とAI HAT+ 2側は完全に同一のプロンプト文字列（114トークン・改行をスペースに置換）で計測していますが、出力トークン数は揃っていません——CPU単体は
num_predict=256のフル生成でしたが、AI HAT+ 2（hailo-ollama）はnum_predict=256を指定したものの2回ともEOSで早期終了し、平均37トークン程度の出力でした。出力が短いほどTTFTの比重が相対的に大きくなるため、decode tok/sの比較はおおよその目安として扱ってください。 - 初回計測（2026-06時点・参考値として残す4.75 tok/s等）はHailoRT GenAI SDK直接実行のend-to-end計測で、CPU側（ollama・num_predict=256・temperature=0）とAI HAT+ 2側（max_generated_tokens=200・temperature=0.1）は生成トークン数・温度パラメータ・プロンプト表現も完全には揃っていませんでした。新計測（対決表）のほうが条件を揃えられており、比較の精度は高いと考えています。
- AI HAT+ 2側の実測はQwen2.5 1.5Bの1機種のみです。他モデルサイズ・他Hailoモデルへの一般化は未検証です。
- Hailo公式ブログ・CNX Software・schwab.shの数値は他社発表または独立実測の引用で、当サイトの計測条件とは異なるため直接比較はできません。
- ビジョン実測（YOLOv8m・ResNet50）は2026-07-11の独立再計測で±0.1%以内の一致を確認しています（詳しくは「プリフィルと生成は別物」参照）。
購入リンク
- Raspberry Pi 5 8GB：Amazonで見る広告・Amazon
- Raspberry Pi 5 8GB（楽天）：楽天で見る広告・楽天
- AI HAT+ 2（Hailo-10H）：Amazonで見る広告・Amazon
- AI HAT+ 2（楽天）：楽天で見る広告・楽天
実売価格は変動するため、最新の価格はリンク先で確認してください。全数値は検証DB、手元の構成で動くかは動くか診断で確認できます。