推奨ツール： 量子化

Q4_K_Mは本当にバランスの取れた選択肢なのか、それとも単に人気があるのか？

はい。llama.cpp で公開されたk-quantのパラメータの困惑度測定結果（LLaMA 7B）において、Q4_K_MはFP16に対して約0.9％の誤差しか生じず、ほぼ30％のメモリを消費します。Q5_K_Mは約0.2％の誤差で、約17％のメモリを消費しますが、これはほとんど利益をもたらさず、余裕のあるメモリ環境の下でのみ有効です。

70BモデルにはどのくらいのVRAMが必要ですか？

Q4_K_Mでは、重みに約42 GBが必要です。さらに、Llama 3.3 70Bでは8KのコンテキストでKVキャッシュに2〜3 GBが必要です（グループ化アテンションによる）。短いコンテキストなら、48 GBのカード（RTX 6000 Ada）1枚、または24 GBのカード2枚（2×RTX 3090/4090）に収まります。Q2_Kでは重みが約26 GBまで減りますが、品質は大幅に低下します。

GGUF、GPTQ、AWQ：どれを選べばよいですか？

PCやApple Silicon搭載機での単一ユーザー利用にはGGUF。Ada、Hopper、BlackwellのGPUでバッチ処理を行うAPIサービスにはAWQ。GPTQは従来からある選択肢で、Ampereでも引き続き動作しますが、2026年に最速となることはめったにありません。

KVキャッシュを量子化すると品質は低下しますか？

KVキャッシュをQ8_0で量子化すると、サイズが半分になり、品質の低下は一般に無視できる程度とされています。Q4_0では品質の低下が測定可能になります。長いコンテキストをメモリに収める唯一の方法である場合に限って使用してください。

DeepSeek V3のようなMoEモデルは異なるのでしょうか？

はい。保存に必要な容量はパラメータの総数で決まるため、671BのMoEはQ4でも数百GBを必要とします。一方、速度は有効化されるパラメータ数に依存します（DeepSeek V3では37B）。Q4より低いビット数では、品質の低下が急速に大きくなります。ただし、動的量子化（たとえばUnslothによるDeepSeek R1向けの量子化）は、非常に大きなMoEでも2ビットで実用性を保てることを示しています。

量子化したモデルが本当にVRAMに収まるかを確認するには？

500トークンの生成中に `nvidia-smi -l 1` を実行してください。VRAM使用量が増えてから安定すれば問題ありません。使用量が頭打ちになり、トークン/秒が急落する場合は、モデルの一部がシステムRAMに移されています。量子化レベルを一段下げるか、コンテキストを短くしてください。