ai-local-lab

Benchmark Database

検証DB

機材×モデル×量子化ごとに、デコード速度(tok/s)・消費電力(W)・電力効率(tok/s/W)・初回トークン応答時間(TTFT)・計測中の最高温度を記録。「電力効率 tok/s/W」で並べ替えると、同じ電気でいちばん多く生成できる機材×モデルがわかります。機材名・モデル名から各詳細ページへ移動できます。

※ 数値はすべて自前機材での実測です(ollama API・2回平均・num_predict=256)。電力の測定境界は機種で異なり(GPUのみ/SoC全体/基板)、ランタイム版(ollama 0.21〜0.30)にも差があるため、tok/s/W の機種横断比較は目安です(要検証)。Mac行の温度はAPIから取得できず「—」表記。

機材×モデルで「動くか」を診断する →モデル起点で見る →計測環境と機材を見る →

30秒でわかる結論

実測でわかった、ローカルLLMの速度と電力の要点

生成速度(tok/s)は主にメモリ帯域で決まり(帯域律速)、演算性能(TOPS)ではありません(TOPS神話の検証)。電力効率(tok/s/W)ではMoE(混合エキスパート)が有利な傾向でした(電力効率の実測)。数値はすべて自前機材の実測(ollama・2回平均・num_predict=256)で、機種横断のtok/s/W比較は測定境界の違いから目安です(要検証)。

最新の機材×モデル別の値は、下の表を「電力効率(tok/s/W)」で並べ替えて確認できます。手元の機材で動くか・どのくらいの速度かは動くか診断へ。

178/178

機材×モデル×量子化ごとのベンチマーク計測一覧(電力効率 tok/s/W つき)
機材モデル量子化tok/s電力(W)tok/s/WTTFT(ms)温度(℃)計測日
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)LLM-jp-4 8B (thinking)Q4_K_M47.362.60.7684845.02026-07-16
RTX A6000 48GB ワークステーションGLM-OCRQ8_0473.2138.83.4110459.02026-07-15
RTX A6000 48GB ワークステーションMiniCPM-V 4.6Q4_K_M298.7145.62.0527059.02026-07-15
RTX A6000 48GB ワークステーションNemotron 3 Nano 4BQ4_K_M166.5223.50.7422964.02026-07-15
RTX A6000 48GB ワークステーションQwen2.5 Coder 7B InstructQ4_K_M115.9252.50.4616560.02026-07-15
RTX A6000 48GB ワークステーションQwen3-VL 8BQ4_K_M104.1242.30.4320056.02026-07-15
Jetson Orin Nano Super 8GBGemma 3 4BQ4_K_M16.217.30.94201958.22026-07-15
Jetson Orin Nano Super 8GBGemma 4 E2B (有効2B / 実5.1B)Q4_K_M23.415.01.56204656.42026-07-15
Jetson Orin Nano Super 8GBMiniCPM-V 4.6Q4_K_M37.912.53.03134152.22026-07-15
Jetson Orin Nano Super 8GBQwen3 1.7BQ4_K_M36.417.92.0374255.92026-07-15
Mac mini M4 16GBgpt-oss 20B (MoE)MXFP424.710.22.422742026-07-15
Mac mini M4 16GBLLM-jp-4 8B (thinking)Q4_K_M20.212.31.641452026-07-15
Mac mini M4 16GBMinistral 3 14BQ4_K_M12.412.31.012112026-07-15
Mac mini M4 16GBMinistral 3 8BQ4_K_M19.412.41.561822026-07-15
Mac mini M4 16GBMistral Nemo (12B)Q4_014.911.41.301822026-07-15
Mac mini M4 16GBPhi-4Q4_K_M11.414.20.801552026-07-15
Mac mini M4 16GBQwen2.5 14BQ4_K_M11.613.50.861852026-07-15
Raspberry Pi 5 8GBLlama-3-ELYZA-JP-8BQ4_K_M2.06.60.30102068.32026-07-15
Raspberry Pi 5 8GBFalcon3 7B InstructQ4_K_M2.16.60.3286470.52026-07-15
Raspberry Pi 5 8GBGLM-OCRF166.76.90.9738865.52026-07-15
Raspberry Pi 5 8GBGranite 3.3 8B InstructQ4_K_M1.96.60.2865768.32026-07-15
Raspberry Pi 5 8GBLFM2.5 8B A1BQ4_K_M8.86.61.3487966.12026-07-15
Raspberry Pi 5 8GBLlama 3.1 8B InstructQ4_K_M2.06.60.30100268.32026-07-15
Raspberry Pi 5 8GBLLM-jp-4 8B (thinking)Q4_K_M1.96.60.2990668.32026-07-15
Raspberry Pi 5 8GBMiniCPM-V 4.6Q4_K_M14.56.32.3080462.82026-07-15
Raspberry Pi 5 8GBMistral 7B Instruct v0.3Q4_K_M2.46.70.3547470.02026-07-15
Raspberry Pi 5 8GBNemotron 3 Nano 4BQ4_K_M3.16.90.45113268.32026-07-15
Raspberry Pi 5 8GBQwen2.5 7B InstructQ4_K_M2.26.60.3386769.42026-07-15
Raspberry Pi 5 8GBQwen2.5 Coder 7B InstructQ4_K_M2.26.60.3387167.22026-07-15
Raspberry Pi 5 8GBQwen3-VL 8BQ4_K_M2.16.60.32109367.22026-07-15
Raspberry Pi 5 8GBLlama 3.1 Swallow 8B Instruct v0.5Q4_K_M2.06.50.31103768.32026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Llama-3-ELYZA-JP-8BQ4_K_M49.581.60.61105951.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Falcon3 7B InstructQ4_K_M52.684.20.6276552.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Gemma 3 1BQ4_K_M176.731.25.66219846.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Gemma 3 4BQ4_K_M75.457.21.32221767.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Gemma 4 E2B (有効2B / 実5.1B)Q4_K_M109.642.72.57212442.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Gemma 4 E4B (有効4B / 実8.0B)Q4_K_M63.055.21.14211651.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)GLM-OCRQ8_0291.830.09.7354941.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Granite 3.3 8B InstructQ4_K_M46.288.50.5236553.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)LFM2.5 1.2B JPQ4_K_M265.551.05.2137250.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)LFM2.5 230MQ8_0580.523.025.2439638.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)LFM2.5 8B A1BQ4_K_M177.651.73.43118149.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Llama 3.1 8B InstructQ4_K_M49.279.10.62106151.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Llama 3.2 1B InstructQ8_0158.141.73.79107647.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Llama 3.2 3B InstructQ4_K_M100.964.71.56106152.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)MiniCPM-V 4.6Q4_K_M226.431.17.28140245.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Ministral 3 3BQ4_K_M94.369.01.37116753.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Mistral 7B Instruct v0.3Q4_K_M53.987.00.6220750.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Nemotron 3 Nano 4BQ4_K_M77.966.31.18122653.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Phi-4-mini InstructQ4_K_M84.367.91.24117555.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen2.5 1.5B InstructQ4_K_M178.046.43.8484647.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen2.5 Coder 7B InstructQ4_K_M51.981.20.6490757.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen3 1.7BQ4_K_M167.652.23.2185249.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen3.5 0.8BQ8_0181.034.55.25165048.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen3.5 2BQ8_096.748.71.99158847.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen3-VL 2BQ4_K_M162.255.12.9495550.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Sarashina 2.2 3B InstructQ4_K_M93.173.01.2850353.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)SmolLM2 1.7B InstructQ8_0117.074.01.5833450.02026-07-15
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Llama 3.1 Swallow 8B Instruct v0.5Q4_K_M49.279.20.62107553.02026-07-15
RTX A6000 48GB ワークステーションGemma 3 4BQ4_K_M146.4205.50.7140961.02026-07-14
RTX A6000 48GB ワークステーションQwen2.5 0.5BQ4_K_M423.477.15.4915950.02026-07-14
RTX A6000 48GB ワークステーションQwen2.5 14BQ4_K_M64.3265.00.2417867.02026-07-14
RTX A6000 48GB ワークステーションQwen2.5 Coder 32B InstructQ4_K_M29.8291.60.1020570.02026-07-14
RTX A6000 48GB ワークステーションQwen3 30B (A3B)Q4_K_M160.6198.30.8117155.02026-07-14
RTX A6000 48GB ワークステーションQwen3 30B (A3B)Q8_0124.3211.40.5916559.02026-07-14
RTX A6000 48GB ワークステーションQwen3.5 2BQ8_0188.9174.21.0829758.02026-07-14
RTX A6000 48GB ワークステーションQwen3-VL 2BQ4_K_M268.2162.11.6518056.02026-07-14
Jetson Orin Nano Super 8GBGemma 3 1BQ4_K_M34.412.52.76177853.52026-07-14
Jetson Orin Nano Super 8GBQwen2.5 0.5BQ4_K_M75.712.46.1171853.52026-07-14
Mac mini M4 16GBLlama-3-ELYZA-JP-8BQ4_K_M20.913.11.601682026-07-14
Mac mini M4 16GBFalcon3 7B InstructQ4_K_M22.413.21.691282026-07-14
Mac mini M4 16GBGemma 3 1BQ4_K_M92.610.48.912722026-07-14
Mac mini M4 16GBGemma 3 4BQ4_K_M36.212.42.923422026-07-14
Mac mini M4 16GBGranite 3.3 8B InstructQ4_K_M19.413.41.45882026-07-14
Mac mini M4 16GBLFM2.5 1.2B JPQ4_K_M120.38.813.68662026-07-14
Mac mini M4 16GBLFM2.5 230MQ8_0284.38.234.67572026-07-14
Mac mini M4 16GBLlama 3.1 8B InstructQ4_K_M21.013.31.581682026-07-14
Mac mini M4 16GBLlama 3.1 8B InstructQ8_012.810.41.232132026-07-14
Mac mini M4 16GBMinistral 3 3BQ4_K_M40.911.13.681542026-07-14
Mac mini M4 16GBMistral 7B Instruct v0.3Q4_K_M22.612.41.82662026-07-14
Mac mini M4 16GBMistral 7B Instruct v0.3Q8_013.610.41.30962026-07-14
Mac mini M4 16GBQwen2.5 0.5BQ4_K_M156.24.733.241052026-07-14
Mac mini M4 16GBQwen2.5 1.5B InstructQ4_K_M84.311.97.081282026-07-14
Mac mini M4 16GBQwen2.5 7B InstructQ8_013.710.51.301692026-07-14
Mac mini M4 16GBQwen3 1.7BQ4_K_M74.09.87.551062026-07-14
Mac mini M4 16GBQwen3.5 0.8BQ8_081.510.27.992152026-07-14
Mac mini M4 16GBQwen3-VL 2BQ4_K_M75.811.56.591232026-07-14
Mac mini M4 16GBSarashina 2.2 3B InstructQ4_K_M37.912.53.03782026-07-14
Mac mini M4 16GBLlama 3.1 Swallow 8B Instruct v0.5Q4_K_M21.013.31.581682026-07-14
Raspberry Pi 5 8GBGemma 4 E2B (有効2B / 実5.1B)Q4_K_M6.36.50.97156468.32026-07-14
Raspberry Pi 5 8GBLlama 3.2 3B InstructQ4_K_M4.56.40.7074568.32026-07-14
Raspberry Pi 5 8GBPhi-4-mini InstructQ4_K_M3.96.70.5780168.82026-07-14
Raspberry Pi 5 8GBQwen2.5 0.5BQ4_K_M25.16.53.8748765.02026-07-14
Raspberry Pi 5 8GBQwen2.5 3B InstructQ4_K_M5.26.60.7959868.32026-07-14
Raspberry Pi 5 8GBQwen3.5 0.8BQ8_010.86.31.7193164.52026-07-14
Raspberry Pi 5 8GBQwen3-VL 2BQ4_K_M9.46.71.4059467.22026-07-14
Raspberry Pi 5 8GBSarashina 2.2 3B InstructQ4_K_M4.56.40.7045568.32026-07-14
Raspberry Pi 5 8GBSmolLM2 1.7B InstructQ8_05.36.50.8232267.22026-07-14
RTX A6000 48GB ワークステーションLlama-3-ELYZA-JP-8BQ4_K_M112.2236.40.4718964.02026-07-07
RTX A6000 48GB ワークステーションgpt-oss 20B (MoE)MXFP4132.8220.80.6033160.02026-07-07
RTX A6000 48GB ワークステーションLLM-jp-4 8B (thinking)Q4_K_M106.0190.30.5614868.02026-07-07
RTX A6000 48GB ワークステーションSarashina 2.2 3B InstructQ4_K_M180.9203.90.899961.02026-07-07
RTX A6000 48GB ワークステーションLlama 3.1 Swallow 8B Instruct v0.5Q4_K_M111.9254.20.4419168.02026-07-07
RTX A6000 48GB ワークステーションLFM2.5 1.2B JPQ4_K_M448.9171.12.628165.02026-07-02
RTX A6000 48GB ワークステーションLFM2.5 230MQ8_0735.8174.04.238260.02026-07-02
RTX A6000 48GB ワークステーションMinistral 3 14BQ4_K_M62.3270.90.2323964.02026-07-02
RTX A6000 48GB ワークステーションMinistral 3 3BQ4_K_M177.5197.00.9021753.02026-07-02
RTX A6000 48GB ワークステーションMinistral 3 8BQ4_K_M94.7249.90.3822459.02026-07-02
Jetson Orin Nano Super 8GBLFM2.5 1.2B JPQ4_K_M57.520.52.8025359.32026-07-02
Jetson Orin Nano Super 8GBLFM2.5 230MQ8_0140.515.78.9521956.12026-07-02
Jetson Orin Nano Super 8GBMinistral 3 3BQ4_K_M19.320.70.9366662.22026-07-02
Raspberry Pi 5 8GBLFM2.5 1.2B JPQ4_K_M15.06.62.2725563.92026-07-02
Raspberry Pi 5 8GBLFM2.5 230MQ8_043.85.87.5620959.02026-07-02
Raspberry Pi 5 8GBMinistral 3 3BQ4_K_M4.26.70.6382067.82026-07-02
Raspberry Pi 5 8GBMinistral 3 8BQ4_K_M2.06.80.29110268.32026-07-02
Jetson Orin Nano Super 8GBLlama 3.2 1B InstructQ8_045.917.62.61126655.12026-06-23
Jetson Orin Nano Super 8GBQwen3-VL 2BQ4_K_M36.418.12.0171757.92026-06-23
Raspberry Pi 5 8GBGemma 3 4BQ4_K_M3.67.50.48153772.72026-06-23
Raspberry Pi 5 8GBLlama 3.2 1B InstructQ8_07.86.91.1367668.32026-06-23
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen2.5 0.5BQ4_K_M319.923.213.7984343.02026-06-23
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen2.5 14BQ4_K_M12.824.90.5281056.02026-06-23
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen3.5 4BQ4_K_M69.566.21.05163554.02026-06-23
RTX A6000 48GB ワークステーションDeepSeek-R1 Distill Qwen 32BQ4_K_M30.4291.80.1021079.02026-06-22
RTX A6000 48GB ワークステーションFalcon3 7B InstructQ4_K_M117.4250.30.4713969.02026-06-22
RTX A6000 48GB ワークステーションGemma 3 27BQ4_K_M33.0283.60.1247476.02026-06-22
RTX A6000 48GB ワークステーションMistral Nemo (12B)Q4_081.4265.30.3120266.02026-06-22
RTX A6000 48GB ワークステーションMistral Small 3 (24B)Q4_K_M42.9275.80.1621762.02026-06-22
RTX A6000 48GB ワークステーションMixtral 8x7B Instruct (MoE)Q4_078.8269.50.294970.02026-06-22
RTX A6000 48GB ワークステーションQwen3.6 27BQ4_K_M33.5285.60.1237478.02026-06-22
RTX A6000 48GB ワークステーションTeuken 7B Instruct (EU)F1642.3280.20.1520580.02026-06-22
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen2.5 3B InstructQ4_K_M104.661.41.7083859.02026-06-22
ノートPC RTX 4060 Laptop 8GB(i7-13700H/32GB)Qwen2.5 7B InstructQ4_K_M51.979.00.6682357.02026-06-22
RTX A6000 48GB ワークステーションGranite 3.3 8B InstructQ4_K_M102.2259.90.398359.02026-06-21
RTX A6000 48GB ワークステーションMistral 7B Instruct v0.3F1628.8269.60.117677.02026-06-21
RTX A6000 48GB ワークステーションMistral 7B Instruct v0.3Q4_K_M114.8254.60.454779.02026-06-21
RTX A6000 48GB ワークステーションMistral 7B Instruct v0.3Q8_073.7265.80.285379.02026-06-21
RTX A6000 48GB ワークステーションPhi-4Q4_K_M65.6271.20.2413165.02026-06-21
RTX A6000 48GB ワークステーションQwen2.5 32B InstructQ4_K_M30.6286.50.1119568.02026-06-21
RTX A6000 48GB ワークステーションLlama 3.1 8B InstructF1643.1281.50.1521471.02026-06-18
RTX A6000 48GB ワークステーションLlama 3.1 8B InstructQ4_K_M111.2240.30.4619957.02026-06-18
RTX A6000 48GB ワークステーションLlama 3.1 8B InstructQ8_073.6261.40.2820063.02026-06-18
RTX A6000 48GB ワークステーションQwen2.5 7B InstructF1645.1271.80.1717269.02026-06-18
RTX A6000 48GB ワークステーションQwen2.5 7B InstructQ4_K_M117.4250.90.4715157.02026-06-18
RTX A6000 48GB ワークステーションQwen2.5 7B InstructQ8_077.2260.70.3016162.02026-06-18
RTX A6000 48GB ワークステーションGemma 3 1BQ4_K_M245.4134.51.8238655.02026-06-16
RTX A6000 48GB ワークステーションGemma 4 E2B (有効2B / 実5.1B)Q4_K_M166.5169.00.9938963.02026-06-16
RTX A6000 48GB ワークステーションGemma 4 E4B (有効4B / 実8.0B)Q4_K_M110.5220.70.5039868.02026-06-16
RTX A6000 48GB ワークステーションLlama 3.2 1B InstructQ8_0315.8144.92.1818253.02026-06-16
RTX A6000 48GB ワークステーションLlama 3.2 3B InstructQ4_K_M201.8189.71.0619355.02026-06-16
RTX A6000 48GB ワークステーションPhi-4-mini InstructQ4_K_M166.8225.50.7420560.02026-06-16
RTX A6000 48GB ワークステーションQwen2.5 1.5B InstructQ4_K_M282.1134.12.1015353.02026-06-16
RTX A6000 48GB ワークステーションQwen2.5 3B InstructQ4_K_M191.3189.41.0115461.02026-06-16
RTX A6000 48GB ワークステーションQwen3 1.7BQ4_K_M294.2182.41.6115357.02026-06-16
RTX A6000 48GB ワークステーションQwen3.5 0.8BQ8_0266.9143.51.8628353.02026-06-16
RTX A6000 48GB ワークステーションSmolLM2 1.7B InstructQ8_0242.4218.21.116863.02026-06-16
Jetson Orin Nano Super 8GBQwen2.5 1.5B InstructQ4_K_M35.616.32.18124355.82026-06-16
Jetson Orin Nano Super 8GBQwen3.5 0.8BQ8_021.811.61.88118856.02026-06-16
Mac mini M4 16GBGemma 4 E2B (有効2B / 実5.1B)Q4_K_M55.111.64.753092026-06-16
Mac mini M4 16GBGemma 4 E4B (有効4B / 実8.0B)Q4_K_M29.912.72.353622026-06-16
Mac mini M4 16GBLlama 3.2 1B InstructQ8_070.810.36.881332026-06-16
Mac mini M4 16GBLlama 3.2 3B InstructQ4_K_M45.412.43.661412026-06-16
Mac mini M4 16GBPhi-4-mini InstructQ4_K_M37.011.73.161562026-06-16
Mac mini M4 16GBQwen2.5 3B InstructQ4_K_M46.811.34.141212026-06-16
Mac mini M4 16GBSmolLM2 1.7B InstructQ8_050.910.54.85572026-06-16
Raspberry Pi 5 8GBGemma 3 1BQ4_K_M10.87.31.48121771.62026-06-16
Raspberry Pi 5 8GBQwen2.5 1.5B InstructQ4_K_M10.67.91.3464471.02026-06-16
Raspberry Pi 5 8GBQwen3 1.7BQ4_K_M7.77.71.0068871.62026-06-16
Mac mini M4 16GBLFM2.5 8B A1BQ4_K_M80.211.76.851672026-06-15
Mac mini M4 16GBQwen2.5 7B InstructQ4_K_M22.212.81.741402026-06-15
Mac mini M4 16GBQwen3.5 2BQ8_042.19.24.582242026-06-15
Mac mini M4 16GBQwen3.5 4BQ4_K_M29.312.32.382692026-06-15
Jetson Orin Nano Super 8GBQwen3.5 4BQ4_K_M12.618.70.67153662.72026-06-14
Raspberry Pi 5 8GBQwen3.5 2BQ8_03.76.90.54475768.82026-06-14
Raspberry Pi 5 8GBQwen3.5 4BQ4_K_M2.27.50.301126172.72026-06-14
RTX A6000 48GB ワークステーションGemma 4 26B (A4B)Q4_K_M99.6203.60.4940764.02026-06-12
RTX A6000 48GB ワークステーションLFM2.5 8B A1BQ4_K_M283.9191.61.4820561.02026-06-12
RTX A6000 48GB ワークステーションQwen3.5 4BQ4_K_M123.5217.60.5731360.02026-06-12
RTX A6000 48GB ワークステーションQwen3.6 35B (A3B)Q4_K_M122.1195.20.6331467.02026-06-12

よくある質問

このベンチマークはどうやって測っていますか?
すべて自前の実機での実測です。ollamaのAPI経由・2回平均・num_predict=256(生成256トークン)で条件を統一し、デコード速度(tok/s)・消費電力(W)・電力効率(tok/s/W)・初回応答時間(TTFT)・最高温度を記録しています。カタログ値や伝聞は載せません。
生成速度(tok/s)は何で決まりますか?
主にメモリ帯域です。モデルの重みをメモリから読み出す速さがtok/sにほぼ直結する『帯域律速』のため、同じGPUでもモデルサイズや量子化で速度が変わります。演算性能(TOPS)よりメモリ帯域とVRAM容量が効きます(詳しくは『生成速度はメモリ帯域で決まる』記事)。
電力効率(tok/s/W)がいちばん良いのはどのタイプですか?
当サイトの実測ではMoE(混合エキスパート)が有利な傾向でした。実行時の活性パラメータが少なく、同じ電力でより多く生成できるためです。ただし後述の通り機種をまたいだ比較は目安です(自前実測・要検証。詳しくは『電力効率の実測』記事)。
機種をまたいだtok/s/Wの比較は正確ですか?
目安と考えてください。電力の測定境界が機種で異なり(GPUのみ/SoC全体/基板)、ランタイムのバージョン差もあるため、機種横断の電力効率は厳密な比較になりません。同一機種内での相対比較は確実です(要検証)。
TOPS(AI性能の指標)が高いほどLLMは速いですか?
いいえ。当サイトの実測ではTOPSはLLMの生成速度を予測しませんでした。NPUのTOPS値が大きくても、帯域律速のためtok/sが伸びないことがあります(詳しくは『TOPS神話の検証』記事)。
表に無い機材×モデルの速度を知るには?
自前実測は保有機材に限られるため、未計測の組み合わせは『動くか診断』が公称メモリ帯域とA6000実測から理論推定を出します。実機ではこの推定を下回るのが普通で、あくまで方向性の参考値です(要検証)。