ローカルAIは情報が散らばりがちで、最初の一歩でつまずきやすい分野です。この記事では「まず押さえておけば迷わない」サイトとツールを、どんな人に向くかを添えて厳選しました。流行りの名前を並べるのではなく、役割ごとに「これを押さえれば十分」というものに絞っています。
実行ツール(モデルを動かす)
まず必要なのが、ダウンロードしたAIモデルを動かすソフトです。2026年時点の定番は次の5つ。多くは内部でllama.cppを使っており、土台は共通です。
| ツール | 操作 | 標準RAG | APIサーバー | こんな人に | リンク |
|---|---|---|---|---|---|
| Ollama | CLI(1行) | × | ○ | 開発者・自動化したい人 | ollama.com |
| LM Studio | GUI | △ | ○ | GUIで完結させたい初心者 | lmstudio.ai |
| Jan | GUI | △ | ○ | プライバシー最優先の人 | jan.ai |
| GPT4All | GUI | ○ | ○ | 手元の文書に質問したい人 | nomic.ai/gpt4all |
| llama.cpp | CLI/ライブラリ | × | ○ | 仕組みを理解し最適化したい人 | GitHub |
それぞれの“向き”を一言で。
- Ollama — コマンド1行(
ollama run <model>)でモデルを実行でき、自動化・スクリプトとの相性が抜群。当サイトのベンチマークもollamaで計測しています。まず迷ったらこれ。 - LM Studio — 洗練されたGUIにモデル検索が統合され、ダウンロードからチャットまでマウス操作で完結。コマンドに抵抗がある人の最有力。ローカルAPIサーバーも立てられます。
- Jan — 完全オフライン・テレメトリなしを掲げるプライバシー重視。チャット履歴も端末内に保存。
- GPT4All — フォルダのPDF/Word/テキストを読ませるRAGが標準搭載。「手元の資料に質問する」がゼロ設定で始められます。
- llama.cpp — 上記の多くが内部で使う実行エンジン本体。最小・最速で、量子化や最適化を自分で詰めたい人向け。
迷ったら、コマンドに抵抗がなければOllama、GUIがよければLM Studioから。この2つのどちらかで、ほとんどの用途はカバーできます。 根拠: 各公式サイト(Ollama / LM Studio / Jan ほか)。
モデルを入手する
動かすツールの次は、肝心のAIモデル本体です。
- Hugging Face: オープンモデルの最大の配布拠点。ライセンス・量子化版(GGUF等)・派生モデルまでここで揃います。モデルカードでライセンスと用途を必ず確認しましょう。
- Ollama Library:
ollama run <名前>で直接落とせるモデル一覧。最新モデルの追従が早く、量子化済みですぐ動きます。
モデルの選び方(3つの軸)
- パラメータ数(B): 大きいほど賢いが重い。手元のメモリに「乗る」サイズから選ぶのが先決(→必要メモリの目安)。MoEなら総サイズが大きくても高速なことがあります。
- 量子化: まず
Q4_K_M(4bit)。品質を上げたいならQ8_0(8bit)。bf16(無圧縮)はメモリを食うので非力な機材では避ける。 - ライセンス(商用可否): 仕事で使うなら必須確認。Apache-2.0などは商用OK、研究用ライセンスや「年商◯◯未満のみ商用可」といった条件付きもあります。当サイトの検証DBでは各モデルのライセンスと商用可否、実測速度を機材別に掲載しています。
情報・コミュニティ
動向の速い分野なので、一次情報を追える場所を押さえておくと強いです。
- r/LocalLLaMA(Reddit): 新モデル・最適化・トラブル対処の話題が最も速く集まる英語コミュニティ。新モデルが出ると、実際に動かした人の所感がすぐ集まります。
- Hugging Face Blog: 新モデルや手法の公式解説。一次情報として信頼できます。
- llama.cpp(GitHub): 対応モデルや量子化形式の最新状況は、まずここのIssue/Releaseが早い。
情報の信頼性を見分けるコツ
ローカルAIは「とりあえず最強」「爆速」といった煽り記事も多い分野です。経験則として、次を確認すると外しにくくなります(要検証)。
- 実測値か、カタログ値か: 具体的な機材名・モデル名・量子化・tok/sが書いてあるか。
- 条件が明示されているか: 入力長・量子化・ランタイム版が書かれていない速度比較は参考程度に。
- 再現できるか: 手順やコマンドが載っていて、自分で追試できるか。
当サイトが機材×モデル×量子化を自前で実測して公開しているのも、この「再現できる一次情報」を増やすためです。
日本語で実機ベースに深掘りする
英語情報が中心の分野ですが、日本語で実機ベースの情報を得たいときは当ポートフォリオもどうぞ。
- ai-local-lab の検証DB: 機材×モデル×量子化の生成速度を自前で実測・公開(このサイト)。
- エッジAIラボ: ブラウザで動くAIデモを多数公開。インストール不要で挙動を確かめられます。
まとめ:最短ルート
- OllamaまたはLM Studioを入れる
- Ollama LibraryやHugging Faceでモデルを選ぶ(サイズ・量子化・ライセンスを確認)
- 速度や機材の目安は検証DBで確認する
この3つを押さえれば、ローカルAIの「始め方」で迷うことはほぼなくなります。まだ何も動かしていない方は、まずブラウザデモから触ってみてください。