Radeon RX 9070 XT（16 GB）で使えるLLMは？ ?

#LLM向けのRX 9070 XT：16 GB、640 GB/s、優れた演算性能

Radeon RX 9070 XTは、RX 9000シリーズの一般向けRadeonの中で、LLM用途に最も高い能力を持つカードです。256ビットバスのGDDR6を16GB搭載し、AMDによるとメモリ帯域幅は最大640GB/sに達します。FP16とFP8での行列演算性能も、RX 7900 XTXを大きく上回ります。Q4で重みが約13〜14GB未満に収まるモデルなら、VRAMからあふれることなく実行できます。長いコンテキストでの9Bや12B、gpt-oss 20B、短いコンテキストでのMistral Small 24Bが該当します。限界となるのは容量です。270億パラメータのデンスモデルをQ4にしたもの（約16GB）は収まりません。

#ソフトウェア：ROCm、Vulkan、LM Studio、vLLM

RX 9070 XTは、AMDのRadeonドキュメントにあるROCm 7.2.1の対応表（Ubuntu 22.04、24.04、25.10）に掲載されています。Ollamaは、ROCm v7ドライバーを使用するLinux環境でサポートされるカードとして掲載し、LLVMターゲットの表でgfx1201を9070 XTに対応付けています。LM Studioは、2025年7月のバージョン0.3.19で、ROCmを使ったLinux上のAMD 9000シリーズGPUへの対応を発表しました。vLLMは、AMDハードウェアの一覧にRadeon RX 9000（gfx1200とgfx1201）を掲載しています。

Windows 環境では、Ollama の ROCm サポートリストは RX 7000 までで止まっています。RX 9000 はリストに含まれていません。ただし、Ollama は、Vulkan が Windows と Linux で追加のサポートを提供し、デフォルトで有効化されると明記しています。したがって、Windows 上の 9070 XT は実際には Vulkan を通じて動作します。ollama ps を使用してモデルが GPU に正しく配置されていることを確認し、自分でコンパイルする場合は llama.cpp の Vulkan ガイドを参照してください。

#Linuxでの起動方法（Ollama）

1. 01
   ROCm ドライバーのインストール

   Ollamaが求めているとおり、AMDのROCmドキュメントに従ってamdgpu-installユーティリティを使用し、自分のユーザーをrenderグループとvideoグループに追加してから、再起動してください。
2. 02
   検出の確認

   rocminfoでGPUエージェントが一覧に表示され、rocm-smiで16GBが表示される必要があります。そうでなければ、OllamaはCPUを使用します。
3. 03
   最初のモデルを起動

   公式スクリプトでOllamaをインストールし、16GB以内のモデル（例：9B Q4）を起動してください。
4. 04
   配置を確認する

   最初の応答後、ollama psには100 % GPUと表示されるはずです。GPUとCPUに処理が分散している場合は、モデルまたはコンテキストが大きすぎることを示します。

rocminfo | grep -i gfx
rocm-smi --showmeminfo vram
ollama ps

#16 GB に収まるモデル

重みは QuelLLM のカタログから取得し、特に記載がない場合は Q4 を使用します。KV キャッシュと約1ギガバイトの余裕を追加してください。VRAM 16 GB 向けの段階別完全リストは、VRAM 16 GB ガイドに記載されています。

速度の上限は、帯域幅をトークンごとに読み込む重みの量で割った値です。どのグラフィックカードも、その値にぴったり達するわけではありません。gpt-oss 20BのようなMoEモデルは、トークンごとに読み込む重みの量がモデル全体の重みの量より少ないため、モデル全体がVRAMに収まることを条件に、同じサイズのDenseモデルより速く動作します。

#公表された測定結果

llama.cpp コミュニティの ROCm ベンチマーク表では、同じモデルである Llama 2 7B の Q4_0 を複数のグラフィックスカードで測定しています。RX 9070 XT については、ある参加者が、Flash Attention を使わずに、プロンプトの読み込み（pp512）で毎秒5,055トークン、生成（tg128）で毎秒101トークンと報告しています。表では、7900 XTX はそれぞれ毎秒3,552トークンと167トークン、9060 XT は毎秒1,420トークンと68トークンです。

2つの示唆があります。第一に、9070 XTは、帯域幅が低いにもかかわらず、長いプロンプトの読み取り速度が7900 XTXより約40%速いです。これは、より強力な行列計算の利点であり、RAG、長いドキュメント、多くのコンテキストを返すコードエージェントに有用です。第二に、生成速度では、50%高い帯域幅を持つ7900 XTXが依然として優位です。

#使用目的に応じてどのモデルを選ぶか

16GBの場合、適切な選択を左右するのは、モデルの最大サイズよりもコンテキスト用に残せるメモリの余裕です。目安は、重みを収めたうえで、KVキャッシュとバッファ用に少なくとも2GBの空きを確保することです。長い文書を扱う場合は、さらに多く確保してください。この表は、QuelLLMカタログのモデルの重みに基づいて、用途ごとの選択の出発点を示しています。

RAGでは、9070 XTの行列計算性能が大きな強みです。数千トークンのプロンプトを高速に読み取れ、Q4の9BモデルならKVキャッシュ用に10 GBの余裕が残るため、長いコンテキストを扱えます。コード用途では、14 GBのモデルも収まりますが、コンテキストは短くなります。その場合は、KVキャッシュを量子化するか、コンテキストウィンドウを縮小する必要があります。

#コンテキストとKVキャッシュ：どちらの設定も重要です

Ollama のドキュメントでは、デフォルトのコンテキストウィンドウが 4 096 トークンであると記載されており、これは環境変数 OLLAMA_CONTEXT_LENGTH で変更できます。KV キャッシュは、Flash Attention が有効な場合、OLLAMA_KV_CACHE_TYPE で量子化され、デフォルトは f16 です。Ollama は、バックエンドとカードが対応している場合に自動的にこれを使用します。コンテキストは段階的に増やしながら ollama ps を監視してください。モデルの一部がプロセッサ（CPU）にオフロードされた時点で、一段階引き下げてください。

OLLAMA_CONTEXT_LENGTH=32768 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve

#RX 9070 XTでFP8：実際にどのような違いがあるか

AMD は 9070 XT について FP8 行列演算で 389 TFLOPs を示していますが、RX 7900 XTX の仕様書には記載されていません。実際には、Ollama と Q4 や Q5 の GGUF モデルを使用する場合、FP8 は消費されません。重みは量子化された整数だからです。FP8 は主に FP8 重みをロードするエンジン（vLLM など、RX 9000 をリストしているもの）に役立ちます。これは将来の余裕として捉え、即時的な利得として期待しないでください。そのためだけにカードを購入しないでください。16 GB の容量と帯域幅が、今日実行できるものを決定する二つの基準です。

#RX 9070 XT または RTX 5070 Ti

NVIDIAの仕様では、RTX 5070 Ti は256ビットのバスに16 GBのGDDR7を搭載しています。AMDのカードと同じ容量ですが、メモリの世代は異なります。容量が同じなら、メモリに収まるモデルも同じです。違いは生成速度、CUDAエコシステム、そして価格にありますが、ここでは価格を固定値で示しません。ローカルAI向けグラフィックスカードの価格追跡ページを確認してください。通常、選択の決め手になるのは価格です。

#電源とケース

AMDは最低750Wの電源を推奨し、カードの標準的な消費電力を304Wとしています。8ピンコネクタは2つです。システム全体に必要な電源容量を決めるには、プロセッサ、ディスク、ファンの消費電力も加算してください。また、購入するメーカー製モデルの長さと厚さも確認してください。これらのカードは大型であることが多いためです。通気性の良いケースは、長時間の負荷による騒音とクロック周波数の低下を抑えます。カードが何時間もテキストを生成する場合、この点は重要です。常時稼働するAIサーバーでは、長期的にはアイドル時と負荷時の消費電力が購入価格と同じくらい重要になります。

• 16GBのVRAMで利用可能なLLM：完全リスト
• AMD GPU（ROCm）でOllamaを使う：インストール
• RX 7900 XTX（24 GB）で動かすLLM
• RX 9060 XT（8 / 16 GB）上で動作するLLM
• RX 9070 XT ハードウェア仕様
• ローカルAI向けグラフィックカードの価格

• 出典：AMDのRadeon RX 9070 XTスペックシート
• 出典：OllamaのGPUドキュメント
• ソース：LM Studio 0.3.19、AMD 9000シリーズ対応
• 出典：ROCm上でのllama.cppの性能一覧表

#よくある質問