llama.cpp と vLLM と Exllama

#推論エンジン：エンジン間で実際に異なる点

推論エンジンは、入力トークンを出力トークンに変換します。インストールするアプリケーション（Ollama、LM Studio、Jan）にはこれが組み込まれており、本番環境のサーバー（vLLM、SGLang）自体がこれにあたります。使用に影響する3つの違いがあります。それは、対応するモデル形式、利用可能なハードウェア、そして複数のリクエストを同時に処理する方法です。

#モデルの形式によって、使用できるエンジンが決まります

速度を比較する前に、使いたいモデルがどの形式で公開されているかを確認してください。GGUFファイルはllama.cppで読み込めるため、Ollama、LM Studio、Janでも読み込めます。Hugging FaceのFP16やFP8の重み、またはAWQやGPTQで量子化された重みは、vLLMやSGLangで読み込めます。MLX向けに変換されたモデルはMac上のMLX LMで、EXL3モデルはExLlamaV3で読み込めます。エンジンを変更すると、モデルを別の形式でダウンロードし直す必要が生じることがよくあります。

#llama.cpp：移植性に優れた定番

llama.cppは、依存関係のないC/C++実装です。掲げている目標は、幅広いハードウェアで、最小限の設定で推論を実行することです。Apple Siliconへの対応が優先されており（NEON、Accelerate、Metal）、x86 CPUではAVX、AVX2、AVX512、AMXに対応しています。GPUについては、NVIDIA（CUDA）、AMD（HIP）、Vulkan、SYCLをサポートしています。1.5～8ビットの量子化とCPU・GPUのハイブリッド推論を提供しており、利用可能なVRAM容量より大きいモデルも実行できます。

よくある誤解を訂正しておきます。llama.cppは、一度に1件のリクエストしか処理できないわけではありません。そのサーバーは、複数ユーザー向けの並列生成と、デフォルトで有効な継続的バッチ処理に対応すると案内されています。スロットは--parallelパラメータで設定できます。そのため、小規模なチームには十分対応できます。ただし、vLLMが備える大規模な本番運用向けの機能に並ぶことを目指しているわけではありません。

強み

移植性（Mac、Linux、Windows、Android）、広く普及したGGUF形式、CPUとGPUの併用、依存関係の少なさ。

制限

vLLMと同等の分散デプロイ機能は提供されていません。コンテキスト、スロット、GPU上のレイヤーなどの設定を事前に把握する必要があります。

エコシステム

OllamaおよびLM Studioの基盤であり、Janによっても引用されています。

CUDA、Metal、またはVulkanでのコンパイルには、コンパイルガイドを参照してください。llama.cppに関する完全なガイドでは使用方法が詳しく説明されています。

#vLLM：多数のユーザー向けのサーバー

vLLMは、カリフォルニア大学バークレー校のSky Computing Labで生まれた、推論と配信用のライブラリです。アテンションのキーと値のメモリをページ単位で管理するPagedAttentionと、継続的なバッチ処理を基盤とし、チャンク単位のプリフィルとプレフィックスキャッシュを組み合わせています。FP8、INT4、GPTQ、AWQ、GGUFの各形式、OpenAI互換API、NVIDIA・AMD・IntelのGPU、およびx86・ARM・PowerPCのCPUへの対応をうたっています。

二つの誤解を正しておきましょう。第一に、vLLMはもはやNVIDIA専用ではなく、CPUにも対応しています。リポジトリには、複数の種類のGPUとCPUをサポートすると記載されています。第二に、GGUFにも対応するようになっています。ただしドキュメントでは、GGUF対応は非常に実験的で最適化も不十分であり、主にメモリ使用量を抑える目的で利用できると説明されています。GGUFを日常的に使うなら、llama.cppが基本的な選択肢です。

強み

負荷時のスループット、ページ単位でのキャッシュメモリ管理、OpenAI互換API、並列処理（テンソル、パイプライン、エキスパート）、多様な形式への対応。

制限

llama.cppよりインストールや調整に手間がかかります。GPUサーバー向けに設計されており、GGUFは得意分野ではありません。

エコシステム

複数の人やアプリケーションが同時に同じモデルに問い合わせる場合の標準的な選択肢です。

vLLMのガイドでは、このエンジンが何かを説明しています。本番環境へのデプロイのガイドでは、設定と監視を詳しく解説しています。

#ExLlama：V2はアーカイブ済み、V3は開発中

ExLlamaV2のリポジトリには、プロジェクトは現在アーカイブされており、開発はExLlamaV3で継続していると記されています。このページの旧版を含む多くの比較記事では、今もV2が最先端の選択肢として紹介されています。ExLlamaV3のリポジトリでは、EXL3量子化形式、テンソル並列およびエキスパート並列による推論、エキスパートモデル向けのCPUオフロード、連続バッチ処理、投機的デコーディング、そして推奨サーバーであるTabbyAPIを介したOpenAI互換APIが案内されています。

ExLlamaV3は一般向けGPUを対象としており、本番運用のサーバーやMacを対象にしたものではありません。NVIDIA製GPUを持っていて、品質とサイズの最適なバランスを求めるなら、EXL3量子化は試す価値があります。まず、使うモデルがリポジトリの対応アーキテクチャ一覧に含まれているか確認してください。

#SGLang、MLX LM、そのほかの選択肢

SGLang

低レイテンシと高スループットを目指し、単一GPUから大規模クラスターまでを対象とする推論サービス用フレームワークとして紹介されています。プレフィックスキャッシュ用のRadixAttention、継続的バッチ処理、PagedAttention、投機的デコーディングを提供するとしています。サーバー向けではvLLMと競合しており、専用ガイドで詳しく解説しています。

MLX LM

Apple Silicon 上で MLX を使い、テキスト生成やモデルのファインチューニングを行うための Python パッケージです。Mac 以外では動作しません。「MLX と llama.cpp の比較」ガイドでは、Mac 上で両者を比較しています。

TensorRT-LLM

NVIDIA製のエンジンです。同社のGPUでは非常に高い性能を発揮しますが、導入時の制約が比較的多いため、本番環境でNVIDIA GPU群を運用する場合にのみ検討してください。

#公表された測定結果はどのような内容ですか

生成速度はハードウェア、モデル、量子化、リクエストの長さ、エンジンのバージョンに左右され、毎月変化します。そのため、このガイドでは独自の測定値を示していません。測定手順の説明がないトークン/秒の表には注意してください。ただし、第三者の情報源として、Red Hatが2025年8月に完全な測定手順を公開しています。

留意点を踏まえて読む必要があります。この記事はRed Hat AI製品に関連しており、この分野の商業事業者が発信したものです。テスト対象はllama.cppそのものではなくOllamaで、デフォルト設定が使われています。また、テスト時点から複数のバージョン更新が行われています。確かな結論は定性的なものです。同時リクエストが多い状況では、積極的にバッチ処理を行う配信エンジンが、単独ユーザー向けに設計されたアプリケーションを上回ります。一人で使う場合、スループットの差が不利になる要因ではありません。

#メモリ：各エンジンが確保するメモリ

モデルに必要なメモリは、重み、コンテキストキャッシュ（KV）、余裕分で構成されます。重みのサイズは計算できます。80億パラメータのモデルは、FP16 で約16 GB（80億 × 2バイト）、Q4 で約5 GB を占めます。後者は当サイトの目安です。コンテキストキャッシュは、会話の長さと同時リクエスト数に応じて増加します。

覚えておきたい点は、vLLMが最初からメモリを確保することです。そのため、推論サービスの提供には効率的ですが、他のアプリケーションと共有するGPUにはあまり向いていません。GPUを他の用途にも使う場合は、gpu_memory_utilizationパラメータの値を下げてください。

#どの用途にどのエンジンを使うべきか

エンジンは併用できます。日常のチャットには Ollama、抽出バッチの処理にはオンデマンドで起動する vLLM を使用します。用途が異なる場合、1 つだけを残す理由はなく、同じモデルを 2 つの形式で保存するためのディスク容量を確保するだけです。例えば、チャット用に GGUF ファイル、サーバー用に Hugging Face の重みを使用します。

• Ollama と llama.cpp の比較
• vLLM：完全ガイド
• ローカルLLMサーバーとしてのSGLang
• MLX と llama.cpp の Mac 上での比較
• llama.cpp：完全ガイド
• Ollama、LM Studio、Jan または GPT4All

• ソース：llama.cppリポジトリ
• 出典：vLLMのリポジトリ
• 出典：ExLlamaV2 リポジトリ
• 出典：Red Hat、OllamaとvLLMの比較