「このモデル、うちのGPUで動く？」——ローカルLLMで最初に決まるのはVRAM（GPUメモリ）に載るかです。必要量はパラメータ数と量子化でほぼ決まります。パラメータ数×量子化の早見表と、手元のGPUで何が載るかを、当サイトの実測とあわせて一枚にまとめます。
30秒でわかる結論
- Q4_K_M（4bit）の必要VRAM ≈ パラメータ数 × 約0.7GB ＋ 文脈の余裕。7Bで約5GB、32Bで約22GB、70Bで約49GB。
- 量子化を上げる（Q8／FP16）ほど必要メモリは増える。迷ったらQ4_K_Mが容量と品質のバランスで既定。
- MoEは「総パラメータ数」でVRAMを食う（動くのは一部でも、重み全体を載せるため）。
- 実際に載るか・速度は動くか診断で確認できる。
パラメータ数×量子化の早見表
Q4_K_M を基準に、量子化別のおおよその必要VRAM（重みのみ・KVキャッシュ別）。
| パラメータ数 | Q4_K_M（4bit・既定） | Q8_0（8bit） | FP16（無圧縮） |
|---|---|---|---|
| 3B | 約2GB | 約3.5GB | 約6GB |
| 7〜8B | 約5〜6GB | 約8GB | 約15GB |
| 14B | 約10GB | 約15GB | 約28GB |
| 27〜32B | 約18〜22GB | 約35GB | 約65GB |
| 70B | 約42〜49GB | 約75GB | 約140GB |
Q4_K_M列は実運用のVRAM目安（会話履歴＝KVキャッシュ分の余裕込み・動くか診断準拠）、Q8_0／FP16列は重み本体の概算です。混合精度・量子化方式で前後し、Q4_K_Mが余裕込みのため列間の比は単純な2倍／4倍にはなりません。
手元のGPUなら何が載るか（Q4_K_M目安）
| VRAM | 代表的な機材 | 載る目安（Q4・長文脈は一段小さめが安全） |
|---|---|---|
| 8GB | RTX 3060 / 4060・Jetson Orin | 〜8B |
| 12GB | RTX 3060 12GB / 4070 | 〜14B |
| 16GB | RTX 4060 Ti 16GB / Mac 16GB | 〜20B |
| 24GB | RTX 3090 / 4090 | 〜32B |
| 32GB | RTX 5090 | 27〜35B（MoE含む） |
| 48GB | RTX A6000 | 32〜70B（量子化前提） |
| 128GB＋ | DGX Spark / Ryzen AI Max / Mac Studio | 大型MoE（gpt-oss 120B級） |
GPUの選び方の詳細は自宅GPUの選び方、機材全体は機材の選び方へ。
見落としがち：KVキャッシュとMoE
- KVキャッシュ：会話履歴を保持する分で、コンテキスト長に比例してVRAMを食う。長文・エージェントで履歴が伸びる用途は、本体＋数GBの余裕を見る。
- MoE（混合エキスパート）：生成時に動くのはアクティブ部分だけだが、重み全体をVRAMに載せる必要がある。例えば総35BのMoEはアクティブが3BでもVRAMは35B相当。巨大MoE（GLM-5.2＝総753B）はQ4でも約450GBで家庭GPUには載らない（試算）。
実際に載るか・速度は
早見表は"重み"の目安です。実際に載るか・どのくらいの速度かは、機材とKVキャッシュ次第で変わります。
- 動くか診断：機材×モデルで載るか・速度の目安を出す。
- 検証DB：当サイトの実測tok/s。
- 載らない時の症状と対処はGPUが使われない・遅い時の対処、量子化の選び方は量子化はどれを選ぶ、速度が帯域で決まる話はメモリ帯域律速へ。
- ローカルLLMの必要VRAMの目安は？
- Q4_K_M（4bit）でおおよそ「パラメータ数 × 約0.7GB」＋会話履歴分の余裕です。7Bで約5GB、14Bで約10GB、32Bで約22GB、70Bで約49GBが目安で、量子化や文脈長で増減します。
- 24GBのGPU（RTX 3090/4090）ではどのくらいのモデルが動く？
- Q4_K_Mなら14〜32B級が目安です。32Bはぎりぎりで、長い文脈を使うならKVキャッシュ分の余裕を見て28B前後までが安全です。
- MoEモデルはVRAMをどれだけ使う？
- 生成時に動くのは一部でも、重み全体をVRAMに載せます。総35BのMoEはアクティブが3BでもVRAMは35B相当が必要です。巨大MoEは総パラメータ数で判断してください。
- Q8やFP16にすると必要VRAMはどれくらい増える？
- Q4_K_Mから量子化を上げると必要メモリは増えます。重み本体でQ8_0はおよそ2倍、FP16は約4倍が目安ですが、Q4_K_Mは余裕込みの実効値のため実際の差はこれより小さくなります。品質差は小さいことが多いとされ、まずQ4で動かし不足を感じたらQ8を試すのが堅実です。
- VRAMが足りないとどうなる？
- あふれた分がCPU/RAMにオフロードされ、大きく低速化します。動くか診断で載るサイズを先に確認するのが確実です。
精度等について
- 必要VRAMは概算で、量子化方式・コンテキスト長・実装（ランタイム）により増減します。
- 「何が載るか」は同一VRAMでもKVキャッシュや同居プロセスで前後します。実機は動くか診断で確認してください。