ai-local-lab

広告

Will it run?

動くか診断

「手元の機材で、このローカルAIモデルは動くのか?」——機材とモデルを選ぶだけで、必要メモリの目安・生成速度・商用ライセンスを即判定します。速度は自前で計測した検証DB実測168)に基づきます。さらに理論値(カタログ公称)の機材8(Mac・AMD・DGX Spark・RTX など)も、メモリ帯域からの推定速度つきで選べます。※ 実測と理論値は明確に分けて表示します。

用途で「AIエージェント」を選ぶと、総実時間(レイテンシ×ステップ数)ローカル電気代 vs クラウドAPIのコスト概算、日本語エージェントとしての実用度も表示します。 モデル別の総合比較はエージェント実用度インデックスへ。

用途

1問1答での「動くか・どのくらいの速さか」を判定します。

動きます

余裕を持って動作する見込みです。

必要メモリ目安 / 搭載
0.2 / 8GB
生成速度(実測)
141 tok/s253 字/秒(日本語)
ライセンス
商用可LFM Open License v1.0

体感は一瞬で表示。 日本語で約400字の回答なら、この機材で2秒で出ます

※ 日本語は1トークン≈1.8文字(当サイト実測。英語は≈6文字)。 同じ tok/s でも日本語は出る文字数が少なく、同じ内容でもトークンを多く使う=英語より生成はやや長めになります。黙読の目安は約8〜10字/秒です。

実測では 140.5 tok/sQ8_0)。計測の詳細を見る →

VRAM別 早見表(どのサイズが動く?)

搭載メモリ(GPUのVRAM/Macは統合メモリ)別に、4bit量子化(Q4_K_M)でどのサイズのモデルが動くかの目安です。必要メモリは「パラメータ数 × 約0.7GB」で見積もっています(経験則・要検証/コンテキストぶんの余裕は別途)。

モデルサイズ別・搭載メモリ別の動作目安
モデルサイズ(代表例)必要メモリ目安8GB16GB24GB48GB
3BLlama 3.2 3B2.1GB快適快適快適快適
7〜8BQwen2.5 7B・Llama 3.1 8B5.6GB快適快適快適快適
14BQwen2.5 14B9.8GB×不足快適快適快適
32BQwen2.5 32B・Gemma 3 27B22.4GB×不足×不足ギリギリ快適
70BLlama 3.3 70B49GB×不足×不足×不足×不足

○=快適に載る(余裕あり)/△=ギリギリ(コンテキストは控えめに)/×=メモリ不足。必要メモリは各行の代表サイズでの目安で、同じ帯のより小さいモデルはこれ以下になります。70BはQ4でも48GBを僅かに超えるため、より強い量子化か複数GPUが要ります。実際の速度(tok/s)は上の診断ツールや検証DBで確認できます。

搭載メモリ別・実際にできること

「結局この容量で何ができる?」を、当サイトの実測を交えて用途で整理します。

8GB級

RTX 4060(8GB)・ノートPCのGPU / Jetson Orin Nano・Raspberry Pi 5

〜8Bが主役。雑談・要約・分類・文字起こしに十分。エージェントは小型モデルで軽く。低消費電力で常時稼働の自動化にも向きます。

16GB級

Mac mini M4(16GB)・RTX 4060 Ti 16GB

〜14Bまで快適。コーディング補助・RAGの実用ライン。Macは省電力で常時稼働向き(Mac miniの実測は検証DB)。

24GB級

中古RTX 3090・RTX 4090(RTX 5090は32GB)

14Bが余裕、27〜32Bも量子化で射程に。日本語エージェント・本格コーディングの主力帯。選び方は自宅GPUの選び方へ。

48GB級

RTX A6000(48GB)

32〜35B級MoEも余裕、70Bも強い量子化で射程。長文脈・業務常用向き。A6000実測では35B MoEが約122 tok/s。

機材選びの全体像はローカルAI機材の選び方、GPUは自宅GPUの選び方をどうぞ。

判定の見かた

用途別の選び方はローカルAIでできること、 速度の一覧は検証DBをどうぞ。

よくある質問(メモリ・量子化・速度)

判定でつまずきやすい「メモリ・量子化・コンテキスト長・MoE」の疑問に答えます。

必要メモリの目安はどう計算しますか?
4bit量子化(Q4_K_M相当)なら『パラメータ数 × 約0.7GB』が目安です。7Bで約5GB、14Bで約10GB、32Bで約22GB、70Bで約49GB。これに会話履歴ぶんの余裕が加わります。量子化やコンテキスト長で増減する概算です(経験則・要検証)。
量子化を強める(ビット数を下げる)と何が変わりますか?
メモリ使用量が減り、生成も速くなる傾向ですが、精度はわずかに落ちます。実用の標準はQ4_K_M(4bit)で、品質と軽さのバランスが良い帯です。メモリに余裕があればQ5・Q6やfp16の方が一段安定します。詳しくは記事『量子化はどれを選ぶ』を参照してください。
コンテキスト(文脈)を長くするとメモリは増えますか?
増えます。モデル本体の重みに加え、会話履歴を保持する『KVキャッシュ』がコンテキスト長に比例してメモリを使います。長文を一度に扱う用途やエージェントで履歴が伸びる場合は、本体ぶん+数GBの余裕を見ておくと安全です(モデル・実装で変動・要検証)。
MoEモデルはなぜパラメータ全体で判定するのですか?
MoE(混合エキスパート)は実行時に使う活性パラメータが少なく速いのが利点ですが、どのエキスパートが呼ばれるか事前に分からないため、重み全体をメモリに載せておく必要があります。だから必要メモリは活性数ではなく総パラメータ数で見積もります。
GPUが無くてもCPUとRAMだけで動きますか?
動きます。Ollama/llama.cpp はGGUF形式でCPU実行や『一部をGPU・残りをCPU/RAM』のハイブリッドに対応します。ただしGPUよりかなり遅く、小型モデル(おおむね〜3B)が現実的です。まずはモデルがRAMに載る大きさかが目安になります。
複数のGPUでVRAMを合算できますか?
できます。llama.cpp/vLLM などはモデルを複数GPUに分割して載せられ、合計VRAMで大きなモデルを動かせます。ただし速度はGPU間の帯域や実装に依存し、単純な台数倍にはなりません(要検証)。
Macのユニファイドメモリ(統合メモリ)は有利ですか?
大容量メモリを比較的安く確保でき、64GB・128GBで大きなモデルも載せられるのが強みです。一方メモリ帯域は上位GPUより控えめで、生成速度は中程度です。当サイトでもMac miniの実測値を検証DBで公開しています。
『〜』付きの理論推定はどれくらい当てになりますか?
未計測の組み合わせは、公称メモリ帯域とA6000実測から速度を見積もった目安です。実機ではこれを下回るのが普通で、あくまで方向性の参考値です(要検証)。確実な数値は実測済みの組み合わせ(検証DB)で確認してください。

関連:量子化はどれを選ぶ実力をどう測るかエージェント実用度ルーティング方針プランナーをどうぞ。