計測詳細
RTX A6000 48GB ワークステーション × Qwen2.5 7B Instruct
モデル情報
| パラメータ数 | 7.6B |
|---|---|
| ライセンス | Apache-2.0 |
| 商用利用 | 可 |
| 配布元 | https://huggingface.co/Qwen/Qwen2.5-7B-Instruct |
計測データ
| 量子化 | ランタイム | tok/s | TTFT(ms) | 合計時間(ms) | 入出力トークン | 温度(℃) | 消費電力(W) | 計測日 | 備考 |
|---|---|---|---|---|---|---|---|---|---|
| F16 | ollama 0.30.8 | 45.1 | 172 | 5843 | 112 / 256 | 69 | 271.8 | 2026-06-18 | ollama API実測（2回平均・num_predict=256・温度は計測中の最大値） |
| Q4_K_M | ollama 0.30.8 | 117.4 | 151 | 2332 | 112 / 256 | 57 | 250.9 | 2026-06-18 | ollama API実測（2回平均・num_predict=256・温度は計測中の最大値） |
| Q8_0 | ollama 0.30.8 | 77.2 | 161 | 3476 | 112 / 256 | 62 | 260.7 | 2026-06-18 | ollama API実測（2回平均・num_predict=256・温度は計測中の最大値） |
※ 数値はすべて自前機材での実測です（ollama API・2回平均・num_predict=256）。