ai-local-lab

計測詳細

Jetson Orin NX Super 16GB × Qwen3 14B

モデル情報

Qwen3 14Bのモデル情報
パラメータ数14.8B
ライセンスApache-2.0
商用利用
配布元https://huggingface.co/Qwen/Qwen3-14B

計測データ

Jetson Orin NX Super 16GBにおけるQwen3 14Bの計測一覧
量子化ランタイムtok/sTTFT(ms)合計時間(ms)入出力トークン温度(℃)消費電力(W)計測日備考
Q4_K_Mollama 0.34.07.41633495693 / 2566927.72026-09-14ollama API実測(2回平均・num_predict=256・温度は計測中の最大値)

※ 数値はすべて自前機材での実測です(ollama API・2回平均・num_predict=256)。

TTFT は同一プロンプトを繰り返す計測でプロンプトキャッシュが効いた状態の値です。機材をまたぐ TTFT の比較は、キャッシュを無効化した再計測(cache-busted-v2)が揃うまで保留しています。