ai-local-lab

計測詳細

Raspberry Pi 5 8GB × Llama-3-ELYZA-JP-8B

モデル情報

Llama-3-ELYZA-JP-8Bのモデル情報
パラメータ数8.03B
ライセンスLlama 3 Community License
商用利用
配布元https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B

計測データ

Raspberry Pi 5 8GBにおけるLlama-3-ELYZA-JP-8Bの計測一覧
量子化ランタイムtok/sTTFT(ms)合計時間(ms)入出力トークン温度(℃)消費電力(W)計測日備考
Q4_K_Mollama 0.31.12.01020128897113 / 256686.62026-07-15ollama API実測(2回平均・num_predict=256・温度は計測中の最大値)

※ 数値はすべて自前機材での実測です(ollama API・2回平均・num_predict=256)。