ai-local-lab

検証DB

機材×モデル×量子化×ランタイムの組み合わせごとに、デコード速度(tok/s)・初回トークン応答時間(TTFT)・計測中の最高温度を記録しています。機材名・モデル名から各詳細ページへ移動できます。

※ 数値はすべて自前機材での実測です(ollama API・2回平均・num_predict=256)。

7件 / 全7

機材×モデル×量子化ごとのベンチマーク計測一覧
機材モデル量子化ランタイムtok/sTTFT(ms)温度(℃)計測日
RTX A6000 48GB ワークステーションGemma 4 26B (A4B)Q4_K_Mollama 0.30.799.640764.02026-06-12
RTX A6000 48GB ワークステーションLFM2.5 8B A1BQ4_K_Mollama 0.30.7283.920561.02026-06-12
RTX A6000 48GB ワークステーションQwen3.5 4BQ4_K_Mollama 0.30.7123.531360.02026-06-12
RTX A6000 48GB ワークステーションQwen3.6 35B (A3B)Q4_K_Mollama 0.30.7122.131467.02026-06-12
Jetson Orin Nano Super 8GBQwen3.5 4BQ4_K_Mollama 0.21.29.3132257.72026-06-12
Raspberry Pi 5 8GBQwen3.5 2BQ8_0ollama 0.24.02.2486351.82026-06-12
Raspberry Pi 5 8GBQwen3.5 4BQ4_K_Mollama 0.24.01.72568155.62026-06-12