MEM
OOM・メモリ不足
- 症状を分ける
- ロード時に落ちるか、長い会話・PDF投入後に落ちるかを分ける
- まず確認
- 実行直前の空きメモリ、モデル名、量子化、Context lengthを記録
- 疑う順
- ロード時ならモデル+既定文脈、途中ならKVキャッシュやRAG投入量
- 安全な初手
- 小型Q4モデル、新規の短い会話、投入文書を減らす順で比較
Local AI troubleshooter
OOM・GPUが使われない・回答の出始めが遅いの3症状を、OS・機材・ランタイムに合わせて切り分けます。原因を断定するツールではなく、設定を壊しにくい確認順を示す入口です。
まず設定を変えず、発生条件を1つずつ分けます。下の対話診断では、OSとランタイムに合う確認コマンドまで絞り込みます。
MEM
GPU
TTFT
原因を狭める前の大きな変更は、別の不具合やデータ損失につながります。そのため、次の操作は自動実行せず、最初の対処にもしていません。
プロセスの強制終了
見覚えのないOSプロセスは止めません
ドライバの削除
版とログを記録してから判断します
モデル・文書の削除
小型モデルとの比較を先に行います
swapの無制限な拡大
遅さを隠す恒久対策にはしません
選択内容はブラウザ内で処理し、当サイトへ送信しません。表示するコマンドは状態確認用です。ただし、環境や版によって表示名は異なります。エラーを外部へ共有する場合は、APIキー、ユーザー名、ファイルパス、文書本文を伏せてください。