広告
Will it run?
動くか診断
「手元の機材で、このローカルAIモデルは動くのか?」——機材とモデルを選ぶだけで、必要メモリの目安・生成速度・商用ライセンスを即判定します。速度は自前で計測した検証DB(実測168組)に基づきます。さらに理論値(カタログ公称)の機材8種(Mac・AMD・DGX Spark・RTX など)も、メモリ帯域からの推定速度つきで選べます。※ 実測と理論値は明確に分けて表示します。
用途で「AIエージェント」を選ぶと、総実時間(レイテンシ×ステップ数)とローカル電気代 vs クラウドAPIのコスト概算、日本語エージェントとしての実用度も表示します。 モデル別の総合比較はエージェント実用度インデックスへ。
1問1答での「動くか・どのくらいの速さか」を判定します。
動きます
余裕を持って動作する見込みです。
- 必要メモリ目安 / 搭載
- 0.2 / 8GB
- 生成速度(実測)
- 141 tok/s≈ 253 字/秒(日本語)
- ライセンス
- 商用可LFM Open License v1.0
体感は一瞬で表示。 日本語で約400字の回答なら、この機材で 約2秒で出ます。
※ 日本語は1トークン≈1.8文字(当サイト実測。英語は≈6文字)。 同じ tok/s でも日本語は出る文字数が少なく、同じ内容でもトークンを多く使う=英語より生成はやや長めになります。黙読の目安は約8〜10字/秒です。
実測では 140.5 tok/s(Q8_0)。計測の詳細を見る →
VRAM別 早見表(どのサイズが動く?)
搭載メモリ(GPUのVRAM/Macは統合メモリ)別に、4bit量子化(Q4_K_M)でどのサイズのモデルが動くかの目安です。必要メモリは「パラメータ数 × 約0.7GB」で見積もっています(経験則・要検証/コンテキストぶんの余裕は別途)。
| モデルサイズ(代表例) | 必要メモリ目安 | 8GB | 16GB | 24GB | 48GB |
|---|---|---|---|---|---|
| 3BLlama 3.2 3B | 2.1GB | ○快適 | ○快適 | ○快適 | ○快適 |
| 7〜8BQwen2.5 7B・Llama 3.1 8B | 5.6GB | ○快適 | ○快適 | ○快適 | ○快適 |
| 14BQwen2.5 14B | 9.8GB | ×不足 | ○快適 | ○快適 | ○快適 |
| 32BQwen2.5 32B・Gemma 3 27B | 22.4GB | ×不足 | ×不足 | △ギリギリ | ○快適 |
| 70BLlama 3.3 70B | 49GB | ×不足 | ×不足 | ×不足 | ×不足 |
○=快適に載る(余裕あり)/△=ギリギリ(コンテキストは控えめに)/×=メモリ不足。必要メモリは各行の代表サイズでの目安で、同じ帯のより小さいモデルはこれ以下になります。70BはQ4でも48GBを僅かに超えるため、より強い量子化か複数GPUが要ります。実際の速度(tok/s)は上の診断ツールや検証DBで確認できます。
搭載メモリ別・実際にできること
「結局この容量で何ができる?」を、当サイトの実測を交えて用途で整理します。
8GB級
RTX 4060(8GB)・ノートPCのGPU / Jetson Orin Nano・Raspberry Pi 5
〜8Bが主役。雑談・要約・分類・文字起こしに十分。エージェントは小型モデルで軽く。低消費電力で常時稼働の自動化にも向きます。
16GB級
Mac mini M4(16GB)・RTX 4060 Ti 16GB
〜14Bまで快適。コーディング補助・RAGの実用ライン。Macは省電力で常時稼働向き(Mac miniの実測は検証DB)。
機材選びの全体像はローカルAI機材の選び方、GPUは自宅GPUの選び方をどうぞ。
判定の見かた
- 必要メモリ目安は4bit量子化(Q4_K_M相当)での概算です(パラメータ数×約0.7GB・経験則/要検証)。量子化やコンテキスト長で増減します。
- 生成速度は tok/s に加え日本語の文字/秒と「約400字の回答にかかる時間」でも表示します。日本語は約1.8文字/トークン(当サイト実測。英語は約6文字)なので、同じ tok/s でも 日本語は出る文字数が少なく、同じ内容でもトークンを多く使う=英語より生成はやや長めになります。
- 実測の組み合わせは「動く」ことが確定(速度も実測値)。未計測の組み合わせも、公称メモリ帯域とA6000実測から速度を理論推定して必ず表示します(「〜」付き・実機はこれを下回るのが普通/要検証)。
- 理論値(カタログ)の機材は自前で計測していません。速度は「公称メモリ帯域 ÷ モデルサイズ」を当サイトのA6000実測で較正した推定値(理論・要検証)で、実測とは別表示にしています。実機ではこれを下回るのが普通です。
- MoEモデルは実行時のアクティブ数が少なくても、重み全体をメモリに載せる必要があります(だからサイズで判定します)。
用途別の選び方はローカルAIでできること、 速度の一覧は検証DBをどうぞ。
よくある質問(メモリ・量子化・速度)
判定でつまずきやすい「メモリ・量子化・コンテキスト長・MoE」の疑問に答えます。
- 必要メモリの目安はどう計算しますか?
- 4bit量子化(Q4_K_M相当)なら『パラメータ数 × 約0.7GB』が目安です。7Bで約5GB、14Bで約10GB、32Bで約22GB、70Bで約49GB。これに会話履歴ぶんの余裕が加わります。量子化やコンテキスト長で増減する概算です(経験則・要検証)。
- 量子化を強める(ビット数を下げる)と何が変わりますか?
- メモリ使用量が減り、生成も速くなる傾向ですが、精度はわずかに落ちます。実用の標準はQ4_K_M(4bit)で、品質と軽さのバランスが良い帯です。メモリに余裕があればQ5・Q6やfp16の方が一段安定します。詳しくは記事『量子化はどれを選ぶ』を参照してください。
- コンテキスト(文脈)を長くするとメモリは増えますか?
- 増えます。モデル本体の重みに加え、会話履歴を保持する『KVキャッシュ』がコンテキスト長に比例してメモリを使います。長文を一度に扱う用途やエージェントで履歴が伸びる場合は、本体ぶん+数GBの余裕を見ておくと安全です(モデル・実装で変動・要検証)。
- MoEモデルはなぜパラメータ全体で判定するのですか?
- MoE(混合エキスパート)は実行時に使う活性パラメータが少なく速いのが利点ですが、どのエキスパートが呼ばれるか事前に分からないため、重み全体をメモリに載せておく必要があります。だから必要メモリは活性数ではなく総パラメータ数で見積もります。
- GPUが無くてもCPUとRAMだけで動きますか?
- 動きます。Ollama/llama.cpp はGGUF形式でCPU実行や『一部をGPU・残りをCPU/RAM』のハイブリッドに対応します。ただしGPUよりかなり遅く、小型モデル(おおむね〜3B)が現実的です。まずはモデルがRAMに載る大きさかが目安になります。
- 複数のGPUでVRAMを合算できますか?
- できます。llama.cpp/vLLM などはモデルを複数GPUに分割して載せられ、合計VRAMで大きなモデルを動かせます。ただし速度はGPU間の帯域や実装に依存し、単純な台数倍にはなりません(要検証)。
- Macのユニファイドメモリ(統合メモリ)は有利ですか?
- 大容量メモリを比較的安く確保でき、64GB・128GBで大きなモデルも載せられるのが強みです。一方メモリ帯域は上位GPUより控えめで、生成速度は中程度です。当サイトでもMac miniの実測値を検証DBで公開しています。
- 『〜』付きの理論推定はどれくらい当てになりますか?
- 未計測の組み合わせは、公称メモリ帯域とA6000実測から速度を見積もった目安です。実機ではこれを下回るのが普通で、あくまで方向性の参考値です(要検証)。確実な数値は実測済みの組み合わせ(検証DB)で確認してください。
関連:量子化はどれを選ぶ・実力をどう測るか・エージェント実用度・ルーティング方針プランナーをどうぞ。