計測詳細
RTX A6000 48GB ワークステーション × Llama 3.1 Swallow 8B Instruct v0.5
モデル情報
| パラメータ数 | 8.03B |
|---|---|
| ライセンス | Llama 3.1 Community License + Gemma Terms of Use |
| 商用利用 | 可 |
| 配布元 | https://huggingface.co/tokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.5 |
計測データ
| 量子化 | ランタイム | tok/s | TTFT(ms) | 合計時間(ms) | 入出力トークン | 温度(℃) | 消費電力(W) | 計測日 | 備考 |
|---|---|---|---|---|---|---|---|---|---|
| Q4_K_M | ollama 0.31.1 | 111.9 | 191 | 2479 | 101 / 256 | 68 | 254.2 | 2026-07-07 | ollama API実測（2回平均・num_predict=256・温度は計測中の最大値） |
※ 数値はすべて自前機材での実測です（ollama API・2回平均・num_predict=256）。
TTFT は同一プロンプトを繰り返す計測でプロンプトキャッシュが効いた状態の値です。機材をまたぐ TTFT の比較は、キャッシュを無効化した再計測（cache-busted-v2）が揃うまで保留しています。