「動くか診断で“載らない”や“遅い”と出た——では何を買い足せばいい？」 ローカルLLMの自宅GPU選びは、結局VRAM（GPUメモリ）でどのサイズのモデルが載るかでほぼ決まります。本記事は、必要VRAMの決め方から、人気GPU・中古という選択肢・電気代まで含めた費用対効果・買う前のチェックリストまで、購入直前の判断に必要なことを一気に整理します。

その前に：買うべきか自体を迷っているなら——クラウド課金を続けるか自宅GPUを買うかの分かれ目は自宅ローカルAIは買うべきかで先に整理できます。「もう買うと決めた」人はこのまま読み進めてください。

注記: 速度の自前実測はRTX A6000のみ（検証DB）。5090・4090・3090は当サイト未計測で、VRAM・帯域・消費電力はメーカー公称（理論値）です。価格は2026年6月時点の目安で、後述のとおり品薄で大きく変動する傾向があります。実機の速度推定は動くか診断で各自ご確認ください（実機ではこれを下回るのが普通）。

まず「いくつ載せたいか」を決める（必要VRAM早見）

ローカルLLMは、量子化したモデルがVRAMに載るかが第一条件。Q4_K_M（4bit）で おおよそ パラメータ数 × 0.7GB＋コンテキスト分の余裕、が目安とされます。やりたいことから必要VRAMを逆算します。

やりたいこと目安モデル必要VRAM(Q4目安)候補GPU
軽い雑談・要約・分類〜8B6〜8GB8〜16GB級（中古3060・4060でも可）
コーディング補助・RAG14〜24B12〜18GB3090 / 4090（24GB）
高品質な日本語・エージェント27〜35B（MoE含む）20〜28GB4090 / 5090（24〜32GB）
長文脈・70B級・業務常用32〜70B32〜48GB＋A6000（48GB）／5090(32GB)は量子化前提

「賢いほど大きい＝VRAMを食う」。とくにエージェント用途は連鎖でモデルの地力が出るので、VRAMをケチると失敗しやすい（function calling＆連鎖の実測）。長文脈はKVキャッシュでさらにVRAMを食う点も注意です（量子化はどれを選ぶ）。

GPU比較：5090・4090・3090・A6000

VRAM容量とメモリ帯域（生成速度に効く）、そして消費電力で性格が分かれます。

① VRAM容量 GB（公称）
  • RTX 509032
  • RTX 409024
  • RTX 309024
  • RTX A600048
② メモリ帯域 GB/s（公称・decode速度に効く）
  • RTX 50901792
  • RTX 40901008
  • RTX 3090936
  • RTX A6000768
③ 消費電力 TDP W（公称・小さいほど省電力）
  • RTX 5090575
  • RTX 4090450
  • RTX 3090350
  • RTX A6000300

VRAM容量はA6000（48GB）が最大、帯域は5090（1792GB/s）が最速、消費電力はA6000（300W）が最小——上位モデルが全指標で勝つとは限らないトレードオフがある。自前実測はA6000のみ（検証DBで35BのMoEが約122 tok/s）。5090・4090・3090はメーカー公称値で当サイト未計測。

GPUVRAM帯域(公称)公称TDP電源コネクタ2026/6 価格目安自前実測
RTX 509032GB GDDR71792 GB/s575W16ピン(12V-2x6)新品 50万円超未計測（理論値）
RTX 409024GB GDDR6X1008 GB/s450W16ピン(12VHPWR)新品〜43万／中古30〜40万未計測（理論値）
RTX 309024GB GDDR6X936 GB/s350W8ピン×2中古 7万円台〜未計測（理論値）
RTX A600048GB GDDR6768 GB/s300W8ピン(EPS)プロ向け・高価実測あり

メモリ帯域はdecode（生成）速度に効きます。5090は帯域が最上位（1792GB/s）ですが、VRAM容量はA6000（48GB）が最大——上位モデルが全指標で勝つわけではありません。5090は品薄で高価・高消費電力、A6000は帯域控えめながら48GBの容量と省電力（300W）が武器です。A6000実測では35BのMoEが約122 tok/s出ています（5090/4090との速度の直接比較は未計測のため断定しません）。スペックは各メーカー公称（NVIDIA RTX 5090 ほか）。

中古という選択肢：3090(24GB)は“最安のVRAM”

「とにかく安く24GB」なら、中古のRTX 3090（24GB）が候補です。GPU相場まとめ（民間メディア）調べでは2026年6月時点でおおむね7万円台〜と、24GBのVRAMだけなら新品4090の数分の一で並びます（中古GPU相場（民間メディア）・品薄で変動）。ただし中古GPUは相応のリスクがあります。

  • マイニング酷使個体: 3060〜3090は2021〜22年のマイニングブームで酷使された個体が多く出回った世代とされます（個体差は大きい）。ファン・基板の消耗に注意。
  • GDDR6Xの発熱: 3080/3090のGDDR6Xは発熱が大きく、サーマルパッド劣化でVRAM温度が110℃超になる個体も。貼り替え前提だと安心。
  • 保証失効・消耗: メーカー保証切れ・ファンベアリング摩耗・グリス劣化。動作確認と保証が付く中古ショップが無難（フリマの現状渡しは上級者向け）。
  • 買ってはいけない: 3070/3070 Ti（8GBでLLMには不足）、GTX16系（機能不足）。

中古で狙うなら 3090(24GB) が筆頭。安さはVRAM/円で魅力ですが、保証と素性を新品との差額で買う感覚を持つと失敗しません（型番別の注意は中古相場ガイド（民間メディア））。

電気代まで入れた費用対効果（買って終わりじゃない）

GPUは買って終わりではなく、回すほど電気代がかかります。ローカルが「課金ゼロ」でも、5090は最大575W・4090は450W。仮に1日2時間・実効300Wで毎日回すと月およそ18kWh、電気代31円/kWhなら月約560円・年約6,700円（負荷で変動）。常時推論や複数GPUでは無視できません。

  • 効率（tok/s/W）はモデル・機種で大差。同じ仕事を何ワットで終えるかは電力効率の実測へ。
  • 損益分岐（クラウドAPI課金 vs 自宅GPUの本体償却＋電気代）はROI試算ツールに、あなたの使用時間・電気代を入れて計算できます。

買う前のチェックリスト（電源・コネクタ・ケース）

VRAMだけ見て買うと、電源やケースで詰みます。

  • 電源(PSU): 5090は850W以上（システム全体1000W推奨）、4090は850W目安、3090は750W目安、A6000は700W目安。
  • 電源コネクタ: 5090/4090は16ピン（12VHPWR/12V-2x6）。挿し込み不完全だと発熱・溶損の事例があるため奥まで確実に。3090・A6000は従来の8ピン系で扱いやすい。
  • 物理サイズ: 5090/4090のゲーミングモデルは3スロット超・30cm級が多く、ケース内クリアランス要確認。A6000は2スロット・ブロワー型で省スペース。
  • 合計消費電力: 高TDP機はCPU等との合算でブレーカー（一般家庭の1系統15A≒1500W）も意識を。

用途別のおすすめ

  • まず動かす・〜8B中心／予算最優先: 中古RTX 3090（24GB）。24GBが破格で手に入り、入門〜中量級に十分。素性のリスクは保証付き中古で回避。
  • コスパと入手性・〜30B: RTX 4090（24GB）。中量級まで快適だが品薄で高め。
  • 速度と将来性・大きめも: RTX 5090（32GB）。帯域最上位・32GBで余裕。価格と電源・サイズがネック。
  • 大きいモデル／長文脈／業務常用: RTX A6000（48GB）。35B級MoEも余裕で実測約122 tok/s、省電力・省スペースも利点。
  • Jetson・Macも含めた全体像はローカルAI機材の選び方、会社で共有するなら社内AIサーバーの作り方へ。

機材を入手する

価格・在庫はリンク先で変動します（とくに2026年は品薄で高騰）。上の早見表で必要VRAM帯を決めてから選んでください。

まとめ

  • 自宅GPUのローカルAIはVRAMで載るモデルが決まる。まず「いくつ載せたいか」を早見表で。
  • 3090(中古24GB)＝最安VRAM／4090＝定番／5090＝帯域最速（公称値）／A6000＝容量。中古は素性と保証に注意。
  • 2026年6月は品薄で高騰。価格はリンク先と中古相場（民間メディア）で最新確認を。
  • 電気代込みの損益はROI試算、効率は電力効率、載るか・速度は動くか診断へ。