Radeon RX 7900 XTX（24 GB）で使うLLMはどれか ?

#LLM向けRX 7900 XTX：24GBで何が変わるのか

Radeon RX 7900 XTXは、モデルが24 GBのVRAMに収まれば、ローカルLLMを難なく動かせます。Q4の7B〜9Bモデルは非常に快適に動作し、Q4の27Bモデル（重みの容量は約16 GB）でもコンテキスト用の余裕が残ります。総パラメータ数が300億〜350億で、そのうち30億がアクティブなMoEモデルも、ぎりぎり収まります。条件は二つです。Ollama、LM Studio、llama.cppのいずれかを使うこと。これらはすべて、このカードのドライバーに対応しています。そして、使用量を24 GB未満に抑えることです。それを超えるとモデルの一部がシステムRAMに移され、速度が急激に低下します。AMD RDNA 3の一般ユーザー向けラインナップで、最大のVRAM容量を備えています。

メーカーはローカルAIにとって重要な数値を提示しています。24 GBのGDDR6と、最大960 GB/sのメモリ帯域幅です。ここではメモリ帯域幅が最も有用な数値であり、テキスト生成では各トークンごとにモデルの重みの大部分を読み込むため、帯域幅が高いほど、毎秒のトークン数の上限も高くなります。

#ドライバーとソフトウェア：2026年の互換性

AMD のグラフィックカードでは、まずソフトウェアスタックを確認する必要があります。AMD の Radeon ドキュメントにある ROCm 7.2.1 の互換性マトリックスには、Ubuntu 22.04、24.04、25.10 向けに 7900 XTX が掲載されています。一方、Ollama は Linux では AMD ROCm v7 ドライバーが必要だと明記し、Linux と Windows の両方で 7900 XTX を対応カードとして挙げています。実際の導入では、Linux では amdgpu-install ユーティリティを使ってインストールし、Windows では特別な操作をせずにカードが認識されます。

ROCmで問題が起きる場合は、別の方法もあります。Ollamaによると、WindowsとLinuxで追加のGPUに対応するにはVulkanを使い、そのバックエンドをインストールするとデフォルトで有効になります。Vulkanはllama.cppの代替バックエンドでもあり、llama.cppをVulkanで使うためのガイドではコンパイル方法を説明しています。vLLMの現在のドキュメントには、ROCm 6.3以上に対応するRadeon RX 7900（gfx1100とgfx1101）が記載されており、Python 3.12向けにROCm 7.0および7.2.1用のビルド済みパッケージが提供されています。

#7900 XTXを使うLinux環境にOllamaをインストールする

1. 01
   ROCm ドライバーのインストール

   AMDのROCmドキュメントに従い、Ollamaの要件どおりにamdgpu-installユーティリティを使用してください。その後、ご自身のユーザーをrenderグループとvideoグループに追加し、再起動してください。
2. 02
   カードが認識されていることを確認してください

   rocminfoを実行し、続いてrocm-smiを実行してください。7900 XTXのメモリ容量が24 GBと表示されるはずです。何も表示されない場合、OllamaはCPUでの実行に切り替わります。
3. 03
   Ollama のインストール

   公式スクリプトを使用するか、Linux向けのOllamaインストールガイドに従ってから、24 GBに収まるモデルをダウンロードしてください。
4. 04
   配置を確認

   最初の応答後にollama psを実行すると、モデルのうちGPUに配置されている割合が表示されます。表示は「100 % GPU」である必要があります。そうでなければ、モデルまたはコンテキストが大きすぎます。

rocminfo | head -30
rocm-smi
ollama run gpt-oss:20b
ollama ps

#24GBのメモリに収まるモデルはどれか、そしてその処理速度は？

メモリ容量別のモデルの一覧は、ガイド「24 GB の VRAM に適した LLM」にあります。ここでは、このカードについての要点を紹介します。以下に示すモデルの重みの容量は QuelLLM のカタログに基づく Q4 での値で、コンテキスト用のメモリは含みません。理論上の速度上限は、帯域幅を各トークンの処理時に読み込む重みの容量で割った値です。この上限を超えることはできず、実際には上限にも達しません。

この表には2つの読み方があります。まず、余裕についてです。24 GBに対して、21 GBのモデルではKVキャッシュとシステムに3 GBしか残らず、コンテキストは短くなります。Qwen 3.8 27Bは8 GBの余裕があるため、長いコンテキストにはより快適です。次に、MoEについてです。35B-A3Bのモデルは、各トークンごとにアクティブな30億パラメータのみを読み込むため、270億パラメータのデンスモデルよりもはるかに高速に生成しますが、それでもVRAMに完全に収める必要があります。

#このカードの公開ベンチマークで測定されていること

llama.cppコミュニティの参照表では、ROCm上で同じモデル（Llama 2 7B、Q4_0）を使い、プロンプト処理速度（pp512）と生成速度（tg128）を測定しています。7900 XTXでは、ある参加者がFlash Attentionなしでプロンプト処理3552トークン/秒、生成167トークン/秒を記録し、Flash Attentionありではそれぞれ3874トークン/秒、170トークン/秒を記録しています。表の作成者は、同じチップでも、ドライバー、システム、グラフィックスカードのメーカーによって結果が変わると注意しています。

この表は2つのことを示しています。生成速度は帯域幅に依存します。7900 XTX（960 GB/s）は 9070 XT（640 GB/s）より約1.65倍速く、9060 XT（320 GB/s）より2.5倍速く生成します。一方、プロンプトの読み取りは行列演算の計算能力に大きく依存し、より新しい世代の 9070 XT はこの点で 7900 XTX を上回っています。長い応答を伴うチャット用途では、帯域幅と24 GBのVRAMが重要ですが、大きなドキュメントを入力とするRAG用途では、プロンプトの読み取り速度の方がより重要になります。

#70B、30B MoE、デュアルカード：どこまで行けるか

サイトの目安では、Q4量子化した70Bの密モデルは重みだけで約40 GBとなり、VRAMのほぼ2倍です。そのため、16 GBを超える分をシステムRAMに置く必要があり、速度はGPUではなくRAMとPCIeバスに制約されます。検証可能な情報源がないため、この場合の速度は示していません。実用上は扱いにくいとだけ覚えておいてください。24 GBの制約に対する実用的な解決策は、全体的な品質が同程度の300億〜350億パラメータのMoEモデルです。

7900 XTXを2枚使うと、メモリ容量の面で状況が大きく変わります。llama.cppのデフォルトの分割モードでは、モデルをレイヤー単位でカード間に分割し、パイプライン方式で動作させます。カードごとの配分比率を指定するオプションもあります。合計48 GBを利用でき、Q4の70Bモデルと少量のコンテキストを収めるには十分です。メリットはメモリに収まるモデルの大きさであり、トークンあたりの処理速度ではありません。各トークンは2枚のカードを順番に通過するためです。ハードウェア面では、355 Wのカード2枚だけで710 Wになり、PCのほかの部品の消費電力がさらに加わります。そのため、十分な容量の電源、適切なPCIeスロット2つ、通気性のよいケースが必要です。

#コンテキストとKVキャッシュ：24GBの本当の制限

モデルのサイズは、使用するメモリの一部にすぎません。KVキャッシュはコンテキストの長さに応じて増加します。ドキュメントによると、Ollamaはデフォルトで4,096トークンのコンテキストウィンドウを使用し、OLLAMA_CONTEXT_LENGTH変数で変更できます。最近のモデルは128,000〜262,000トークンのコンテキスト長を公表していますが、その長さを利用するには追加のメモリが必要です。対策は2つあります。バックエンドとGPUが対応している場合にOllamaが自動的に使用するFlash Attentionを有効にすることと、OLLAMA_KV_CACHE_TYPEでKVキャッシュを量子化することです（デフォルトはf16、メモリ削減にはq8_0）。KVキャッシュの量子化に関するガイドで、これらの設定を詳しく説明しています。

OLLAMA_CONTEXT_LENGTH=32768 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

#7900 XTX、RTX 3090、4090：どう選ぶか

仕様上、RTX 3090も24GBを搭載しており、NVIDIAによればメモリはGDDR6Xです。したがって、選択を左右するのはソフトウェアスタック、環境、その時点の価格です。価格は変動するため、ここでは固定の値を示しません。購入前に、ローカルAI向けグラフィックカードの価格動向を確認してください。

新品と中古のグラフィックカードで迷っている場合は、7900 XTXが2022年12月に発売されたことを念頭に置いてください。中古品ではメーカー保証がすでに切れていることが多く、マイニングや連続稼働に使われたカードは、購入前に温度を確認しておくべきです。

• 24GBのVRAMに適したLLM：完全なモデル一覧
• AMD GPU（ROCm）でOllamaを使う：詳しい設定方法
• RX 7900 XT（20 GB）上で実行されるLLM
• RTX 3090（24 GB）で動かす LLM
• KV キャッシュの量子化で VRAM を節約
• ローカルAI向けグラフィックカードの価格

• 出典：AMDのRadeon RX 7900 XTXスペック資料
• 出典：OllamaのGPUドキュメント
• 出典：ROCm上でのllama.cppの性能一覧表
• 出典：GPU環境へのvLLMのインストール

#よくある質問