ai-local-lab

計測詳細

RTX A6000 48GB ワークステーション × LFM2.5 8B A1B

モデル情報

LFM2.5 8B A1Bのモデル情報
パラメータ数8.5B
ライセンスLFM Open License v1.0
商用利用
配布元https://huggingface.co/LiquidAI/LFM2.5-8B-A1B

計測データ

RTX A6000 48GB ワークステーションにおけるLFM2.5 8B A1Bの計測一覧
量子化ランタイムtok/sTTFT(ms)合計時間(ms)入出力トークン温度(℃)消費電力(W)計測日備考
Q4_K_Mollama 0.30.7283.9205110779 / 25661191.62026-06-12ollama API実測(2回平均・num_predict=256・温度は計測中の最大値)

※ 数値はすべて自前機材での実測です(ollama API・2回平均・num_predict=256)。