ai-local-lab

GPU搭載PC

ノートPC RTX 4060 Laptop 8GB（i7-13700H/32GB）

ノートPC実機（GeForce RTX 4060 Laptop GPU 8GB VRAM・Intel Core i7-13700H・システムRAM32GB）。2026-06-22 SSH経由でA6000と同一プロトコル（ollama API・2回平均・num_predict=256）で実測。VRAM8GB超のモデル（14B級〜）はRAMオフロードで低速化。帯域・TGPは公称値（TGPは機種で可変）。

スペック

ノートPC RTX 4060 Laptop 8GB（i7-13700H/32GB）の主要スペック
ベンダーNVIDIA
カテゴリGPU搭載PC
メモリ8 GB
メモリ帯域256 GB/s
AI性能—
最大消費電力115 W

この機材で計測したモデル

全計測データ

ノートPC RTX 4060 Laptop 8GB（i7-13700H/32GB）の全ベンチマーク計測
モデル量子化ランタイムtok/sTTFT(ms)温度(℃)計測日
LLM-jp-4 8B (thinking)Q4_K_Mollama 0.32.047.3848452026-07-16
Llama-3-ELYZA-JP-8BQ4_K_Mollama 0.32.049.51059512026-07-15
Falcon3 7B InstructQ4_K_Mollama 0.32.052.6765522026-07-15
Gemma 3 1BQ4_K_Mollama 0.31.2176.72198462026-07-15
Gemma 3 4BQ4_K_Mollama 0.31.275.42217672026-07-15
Gemma 4 E2B (有効2B / 実5.1B)Q4_K_Mollama 0.32.0109.62124422026-07-15
Gemma 4 E4B (有効4B / 実8.0B)Q4_K_Mollama 0.32.063.02116512026-07-15
GLM-OCRQ8_0ollama 0.32.0291.8549412026-07-15
Granite 3.3 8B InstructQ4_K_Mollama 0.32.046.2365532026-07-15
LFM2.5 1.2B JPQ4_K_Mollama 0.31.2265.5372502026-07-15
LFM2.5 230MQ8_0ollama 0.31.2580.5396382026-07-15
LFM2.5 8B A1BQ4_K_Mollama 0.32.0177.61181492026-07-15
Llama 3.1 8B InstructQ4_K_Mollama 0.32.049.21061512026-07-15
Llama 3.2 1B InstructQ8_0ollama 0.31.2158.11076472026-07-15
Llama 3.2 3B InstructQ4_K_Mollama 0.31.2100.91061522026-07-15
MiniCPM-V 4.6Q4_K_Mollama 0.32.0226.41402452026-07-15
Ministral 3 3BQ4_K_Mollama 0.31.294.31167532026-07-15
Mistral 7B Instruct v0.3Q4_K_Mollama 0.32.053.9207502026-07-15
Nemotron 3 Nano 4BQ4_K_Mollama 0.32.077.91226532026-07-15
Phi-4-mini InstructQ4_K_Mollama 0.31.284.31175552026-07-15
Qwen2.5 1.5B InstructQ4_K_Mollama 0.32.0178.0846472026-07-15
Qwen2.5 Coder 7B InstructQ4_K_Mollama 0.32.051.9907572026-07-15
Qwen3 1.7BQ4_K_Mollama 0.31.2167.6852492026-07-15
Qwen3.5 0.8BQ8_0ollama 0.31.2181.01650482026-07-15
Qwen3.5 2BQ8_0ollama 0.32.096.71588472026-07-15
Qwen3-VL 2BQ4_K_Mollama 0.31.2162.2955502026-07-15
Sarashina 2.2 3B InstructQ4_K_Mollama 0.31.293.1503532026-07-15
SmolLM2 1.7B InstructQ8_0ollama 0.31.2117.0334502026-07-15
Llama 3.1 Swallow 8B Instruct v0.5Q4_K_Mollama 0.32.049.21075532026-07-15
Qwen2.5 0.5BQ4_K_Mollama 0.30.10319.9843432026-06-23
Qwen2.5 14BQ4_K_Mollama 0.30.1012.8810562026-06-23
Qwen3.5 4BQ4_K_Mollama 0.30.1069.51635542026-06-23
Qwen2.5 3B InstructQ4_K_Mollama 0.30.10104.6838592026-06-22
Qwen2.5 7B InstructQ4_K_Mollama 0.30.1051.9823572026-06-22

※ 数値はすべて自前機材での実測です（ollama API・2回平均・num_predict=256）。

この機材を使った記事