Raspberry Pi 5にAI HAT+ 2（Hailo-10H・40TOPS・国内実売約4.4万円。本サイトの一部記事では「AI HAT2+」表記）を足すと、LLMの生成は速くなるのでしょうか。自前実測で確かめると、答えは「速くならない」です。むしろCPU単体より遅くなります。ただし電力とプリフィル（まとまった入力の処理）には別の顔があります。
結論
- 核心: AI HAT+ 2を追加してもLLMの生成（デコード）速度は速くならない。自前実測でQwen2.5 1.5Bを比べると、CPU単体10.62 tok/sに対し、AI HAT+ 2（Hailo GenAI SDK）は4.75 tok/sとむしろ遅い結果でした。
- 約4.4万円を投資しても生成速度が落ちる——これがAI HAT+ 2でチャット高速化を狙う場合の最大の注意点です。
- ただし消費電力は2.5W（CPU単体7.9Wの約1/3）。1ワットあたりの生成量（tok/s/W）で見ると、CPU単体1.34に対しAI HAT+ 2は1.90と、電力効率では実はCPUを上回ります。
- Hailo公式の報告（外部の報告値・未検証・当サイトで実測予定）では、まとまった入力の処理（プリフィル／TTFT）はAI HAT+ 2が有利。当サイトではAI HAT+ 2側のTTFTは未計測です。
- 画像認識（物体検出など）ではAI HAT+ 2が激変（Hailo使用時のYOLOv8m 76.25 FPSは自前実測。比較基準のCPU実行時3〜5 FPSは外部ベンチの参考値のため、倍率「約15〜25倍」は自前実測同士の比較ではありません）。効くのは「読む・書く」より「見る」という結論はTOPS神話の検証と一致します。
- CPUのみのPi5実測は別記事、GPUを積むJetsonとの比較はこちらにまとめています。
AI HAT+ 2とは
Raspberry Pi 5に載せる拡張ボードで、Hailo製のAIアクセラレータHailo-10H（公称40 TOPS・INT4）を搭載します。ボード上にオンボード8GB LPDDR4Xメモリを持ち、Pi5本体のメモリとは別にモデルを保持できます。価格はメーカー想定$130・国内実売は¥44,000前後（スイッチサイエンス）です（Raspberry Pi公式）。
先代の「AI Kit」「AI HAT+」（Hailo-8／8L・最大26TOPS）はカメラ映像の物体検出・姿勢推定などビジョン専用で、LLM推論には対応していませんでした。AI HAT+ 2でHailoがGenAI SDKを新たに用意し、初めてLLM推論に対応した——というのが公式の位置づけです（同上）。この記事では、その新機能であるLLM推論を自前実測で検証します。
AI HAT+ 2は当サイトの検証DBの機材マスタには非登録です。理由は2つあります。(1) 検証DBのスキーマはLLM計測にTTFT（初動時間）を必須項目とするが、AI HAT+ 2側は今回TTFTを計測できていない。(2) 検証DBの「動くか診断」はメモリ帯域からの理論推定（帯域律速モデル）で速度を出す設計だが、Hailoのようなデータフロー型NPUはこの前提が成り立たず、登録すると実態と矛盾する推定値を出しかねないため。以上により、実測値は監査証跡として記録するにとどめています。
自前実測の対決表
同一モデル（Qwen2.5 1.5B）を、CPU単体とAI HAT+ 2（Hailo GenAI SDK）で実測して比べました。
| 実行方式 | 生成速度（tok/s） | 消費電力（W） | tok/s/W | TTFT（ms） |
|---|---|---|---|---|
| Pi5 CPU単体（ollama・Hailo不使用） | 10.62 | 7.9 | 1.34 | 644.4 |
| Pi5 + AI HAT+ 2（Hailo GenAI SDK） | 4.75 | 2.5 | 1.90 | 未計測 |
根拠: CPU値はRaspberry Pi 5 8GB 実測一覧。AI HAT+ 2値はHailo GenAI SDKを直接実行した実測（監査証跡として記録。BenchmarkSchemaがTTFT必須のため検証DBには未登録）。
約4.4万円を足しても、生成速度はCPU単体の半分以下（4.75 対 10.62 tok/s）という結果でした。一方でtok/s/W（1ワットあたりの生成量）はAI HAT+ 2が1.90とCPU単体の1.34を上回ります——絶対速度は遅いが、電力あたりでは実はCPUより効率的という逆転が起きています。1000トークン生成あたりの電力（Wh）は消費電力(W) × (1000 ÷ tok/s ÷ 3600)で計算でき、CPU単体は7.9W×(1000÷10.62÷3600)≒約0.207Wh、AI HAT+ 2は2.5W×(1000÷4.75÷3600)≒約0.146Whです。AI HAT+ 2のほうが少ない電力で同じ仕事を終えます（速度が遅い分、時間はかかります）。
AI HAT+ 2側のTTFT（初動時間）は今回未計測です。計測スクリプトが生成完了後の合計トークン数のみを取得する設計で、ストリーミングでの初回トークン到達時刻を記録していないためです（捏造を避けるため値は作らず、次回計測の課題として記録します）。
プリフィルと生成は別物
AI HAT+ 2のTOPSが効くのは、実は生成（デコード）ではなくプリフィル（まとまった入力の処理）と画像認識です。
| タスク | なし（CPU） | あり（Hailo） | 効果 |
|---|---|---|---|
| 物体検出 YOLOv8m | 約3〜5 FPS | 76.25 FPS | 約15〜25倍速い |
| 画像分類 ResNet50 | 数十FPS級（経験則） | 307.64 FPS | 大幅に速い |
| LLM｜ollama標準（Qwen2.5 1.5B） | 10.6 tok/s | 10.6 tok/s | Hailo不使用＝不変 |
| LLM｜Hailo GenAI SDK（同上） | — | 4.75 tok/s / 2.5W | CPUより遅いが超低電力 |
画像（CNN）はAI HAT2+で激変、LLMの速度には効かない。これがTOPS神話の核心です。最下行が決定的で、Hailo専用のGenAI SDKでLLMを実際に動かしても 4.75 tok/s＝CPUの10.6 tok/sより遅い（ただし2.5WとCPU 7.9Wより省電力でCPUを解放）。つまり40 TOPSは画像には効く（308 FPS）が、LLMの速度には効かない。ollama/llama.cppはそもそもHailoを使わずCPU実行（=AI HATの有無で不変）。Hailo・LLMとも当サイトの自前実測（Hailo LLMはHailoRT 5.1.1＋v5.2.0 HEF・end-to-end計測で公称~9.5 tok/sは下回るが「CPU比で速くない」結論は不変）、CPUのYOLOは外部ベンチ（根拠: Seeed Studio Wiki 等）。要検証。
物体検出（YOLOv8m）は約15〜25倍、画像分類（ResNet50）も大幅に高速化する一方、LLMの生成はollama標準では不変（Hailo不使用のCPU実行のまま）、Hailo GenAI SDKで直接動かしても前述のとおりCPU単体より遅い結果でした。「TOPSが大きい＝何でも速い」わけではなく、効くワークロード（主に画像・CNN、まとまった入力の一括処理）が決まっている——これはTOPS神話の検証で実測している結論と一致します（Jetson・CPU・Hailoの3機材比較は同記事参照）。
参考として、Hailo公式ブログは同モデル（Qwen2.5 1.5B・4bit量子化・プリフィル96トークン）のTTFTをHailo経由320ms対Pi5 CPU単独2039msと公表しています。これは「外部の報告値（未検証・当サイトで実測予定）」で、自社発表かつプロンプト長や計測条件が当サイトと異なるため直接比較はできませんが、「まとまった入力の一括処理（プリフィル）はHailoが得意、1トークンずつ生成し続ける処理（デコード）は不得意」という当サイトの実測傾向とは整合します（Hailo公式ブログ）。
独立実測2本も同傾向
当サイト以外の独立した実測でも、同様の傾向が報告されています。「外部の報告値（未検証・当サイトで実測予定）」として、当サイトの自前実測とは分けて紹介します。
両者とも、AI HAT+ 2でのLLM生成速度は1.5B級で6〜8 tok/s程度と報告しており、Pi5 CPU単体（9〜12 tok/s程度）に劣るとしています。当サイトの自前実測（AI HAT+ 2：4.75 tok/s、CPU：10.62 tok/s）と絶対値は異なりますが、「HAT追加でも生成は速くならない」という向きは一致します。数値差はプロンプトや計測方法の違いによるもので、直接比較はできません。
なお、一部のレビューやSNSで見かける「CPU比最大18倍」のような見出し数値は、プリフィル（まとまった入力の処理）の数値である可能性が高いと考えられます。Pi5のメモリ帯域（公称約17GB/s）の理論上、生成（デコード）でその倍率は出ません。プリフィルと生成（デコード）は別物という点を押さえておくと、こうした数値に惑わされにくくなります。
では何に使うか
Raspberry Pi公式も「AI HAT+ 2が向く場面・向かない場面」を整理する記事を公開しています（When and why you might need the AI HAT+ 2）。当サイトで実測・確認できた範囲では、次のように整理できます。
- 向く: 常時稼働の物体検出・画像認識（防犯カメラ、現場モニタリング等）。低消費電力（2.5W）でCPUを占有しないため、Pi5本体のCPUを他の処理に空けられます。
- 向く可能性がある（未検証）: まとまった長い入力を一度に処理する用途（RAGの長いコンテキスト読み込みなど）。Hailo公式のプリフィル優位の報告が本当ならこの用途に効きますが、当サイトでは未検証です。
- 向かない: チャットのようにトークンを1つずつ生成し続ける対話用途。CPU単体のほうが速く、生成速度の面でAI HAT+ 2を足す意味は見出せません。
参考として、別の自作YOLOモデル（丸太検出）の実測でも、Pi5 CPU単体での物体検出は約0.75 FPS（1.3秒／枚）と極めて遅く、常時検出には非現実的という結果が出ています（Jetson GPUでは46.5 FPS。実測記事）。このモデル自体はAI HAT+ 2では計測していませんが、「Pi5のCPU単体だけで画像認識をやらせるのは厳しい」という傾向は、AI HAT+ 2のYOLOv8m実測（CPU比約15〜25倍）とも符合します。CPU単体の画像認識が遅いという傾向そのものが、Hailoのようなアクセラレータの存在意義を裏付けていると言えます。
用途別に判定する
「AI HAT+ 2を追加する価値があるか」を用途別に判定します。
| 用途 | 判定 | 根拠 |
|---|---|---|
| LLMのチャット生成を速くしたい | ✕ | 自前実測で4.75 tok/s。CPU単体10.62 tok/sより遅い |
| LLMを低消費電力で常時稼働させたい | ○ | 2.5W（CPU単体7.9Wの約1/3）。tok/s/Wも1.90対CPU1.34でHAT側が上回る |
| まとまった長い入力を素早く処理したい（プリフィル） | △ | Hailo公式は320ms対Pi5 CPU2039msと報告（外部の報告値・未検証・当サイトで実測予定） |
| 物体検出・画像認識（YOLO等） | ◎ | YOLOv8m 76.25 FPS（自前実測）・ResNet50 307.64 FPS（自前実測）。CPU比約15〜25倍は比較基準（3〜5 FPS）が外部ベンチの参考値 |
| VLM（画像＋LLM連携） | 未実測 | 計測プラン参照 |
精度等について
- AI HAT+ 2側の実測はQwen2.5 1.5Bの1機種・各条件2回平均のみです。他モデルサイズ・他Hailoモデルへの一般化は未検証です。
- CPU側（ollama・num_predict=256・temperature=0）とAI HAT+ 2側（HailoRT GenAI SDK・max_generated_tokens=200・temperature=0.1）は生成トークン数・温度パラメータが完全には揃っていません。プロンプトも表現がわずかに異なります。tok/sの比較はおおよその目安です。
- AI HAT+ 2側はTTFT・温度が未計測です（次回計測の課題として記録）。
- Hailo公式ブログ・CNX Software・schwab.shの数値は他社発表または独立実測の引用で、当サイトの計測条件とは異なるため直接比較はできません。
購入リンク
- Raspberry Pi 5 8GB：Amazonで見る広告・Amazon
- Raspberry Pi 5 8GB（楽天）：楽天で見る広告・楽天
- AI HAT+ 2（Hailo-10H）：Amazonで見る広告・Amazon
- AI HAT+ 2（楽天）：楽天で見る広告・楽天
実売価格は変動するため、最新の価格はリンク先で確認してください。全数値は検証DB、手元の構成で動くかは動くか診断で確認できます。