RTX 4070 / 4070 Super / 4070 Ti（12GB）で使うLLMはどれか ?

#RTX 4070とローカルLLM：12 GBでできること

ローカルLLM用途でRTX 4070の価値をまず決めるのは、12GBのメモリと504GB/sのメモリ帯域幅です。この2つの数値によって、どのモデルが収まり、どの程度の速度で動作するかが決まります。Q4に量子化された70億〜140億パラメータのモデルは、全体がVRAMに収まります。Ollamaライブラリによると、Qwen 3.5 9Bは6.6GB、Gemma 4 12Bは7.6GB、Qwen3 14Bは9.3GBです。Hardware Cornerは、RTX 4070でコンテキストを4,000トークンに設定した場合、Qwen3 8Bで毎秒71トークン、Qwen3 14Bで毎秒42トークンを測定しています。Mistral Small 24B（14GB）やQwen 3.8 27B（18GB）のような240億〜270億パラメータのモデルはVRAMに収まらず、一部がシステムRAMに移るため、速度が大きく低下します。Super版とTi版でもメモリ帯域幅は増えません。

発売日

Wikipediaによると、4070 Tiは2023年1月5日、4070は2023年4月13日、4070 Superは2024年1月17日に発売されました。

メモリ

12 GBのGDDR6X、192ビットのバス、21 Gbit/s：192 × 21 ÷ 8 = 504 GB/s。これはPuget Systemsが3枚のカードについて記載している値です。

CUDAコア

NVIDIAによると、4070は5,888、Superは7,168、Tiは7,680です。

消費電力

NVIDIAによると、グラフィックス消費電力は200 W、220 W、285 Wで、必要な電源容量はそれぞれ650 W、650 W、700 Wです。

#4070、Super、Ti：メモリ容量は同じ、演算性能は異なる

トークンを生成するために、GPUはモデルのすべてのアクティブな重みを再読み込みします。生成速度はメモリ帯域幅によって制限され、コア数によって制限されるわけではありません。しかし、3つのカードはすべて同じ帯域幅、504.2 GB/sを持っています。Pugetはllama.cppでGGUF 4ビットのPhi-3-miniを測定しました：プロンプト読み取り時の4070と4070 Tiの25%の差は、生成時にはほぼ同一のスコアになります。Hardware Cornerは他のモデルで、Superを4070の114%、Tiを116%と評価しています。したがって、実際の差はほぼゼロから約15%までですが、CUDAコア数は22%から30%増加しています。

計算能力が役立つのは、最初の単語が出る前の段階であるプロンプトの読み取りです。Pugetによると、FP16では4070と比べてSuperのTFLOPSは22％、Tiは38％高くなります。RAGや長い文書、大きなプロンプトを送るコーディングエージェントでは、この差が応答開始までの待ち時間を短くします。短いチャットでは、ほとんど恩恵がありません。

#12GBに収まるモデル

ファイルサイズは、2026年9月29日に確認した Ollama ライブラリのファイルに基づいています。余裕容量とは、12 GB からモデルのファイルサイズを差し引いた残りで、コンテキスト、キャッシュ、エンジンのバッファに必要なメモリはまだ含めていません。

Qwen 3.5 9Bが最も安全な出発点です。Googleによると、Gemma 4 12Bは119.5億パラメータで、音声や画像も扱いたい場合に適しています。Granite 4.2 8Bは文書検索に向いており、IBMはRAGとツール呼び出しを強調しています。Qwen3 14Bは上限で、2.7 GBの余裕があれば数千トークンのコンテキストを確保できます。Qwen 3.5 9BのQ8_0では余裕が1 GBしかありません。コンテキスト、バッファ、Windowsが使うメモリによって、モデルがあふれる可能性があります。

ローカルRAGは埋め込みモデルを追加します。bge-m3はOllamaで1.2GBであり、Granite 4.2 8Bと組み合わせると合計6.5GB、Gemma 4 12Bと組み合わせると8.8GBになります。

• VRAM 12GBで使えるLLM：グラフィックカードの種類を問わない完全リスト

#コンテキスト：モデルを読み込んだ後に残るメモリ

Ollamaはビデオメモリの容量に応じてコンテキスト長を設定します。ドキュメントによると、VRAMが24 GiB未満の場合、デフォルトは4kトークンで、エージェント、コーディングツール、ウェブ検索には少なくとも64,000トークンが推奨されています。RTX 4070は4kの区分に該当するため、デフォルト設定で起動したエージェントは、カードのメモリがいっぱいになるよりもずっと前に履歴を失います。コンテキスト長を増やすと、読み取り済みの各トークンのアテンションのキーと値を保存するKVキャッシュの分だけ、VRAMを消費します。

サイズは以下の式で計算されます：2（キーと値）× 全注意層 × KVヘッド数 × ヘッドの次元 × 値あたりのバイト × ターゲットトークン数。Hugging Faceのドキュメントによると、Qwen 3.5 9B は32層のうち8層のみが全注意層であり、KVヘッドは4つで各ヘッドの次元は256です。Gemma 4 12B は1024トークンのスライディングウィンドウ層と、統合されたキー・値のグローバル層を組み合わせています。そのキャッシュは、従来のトランスフォーマーと比べてはるかに軽量です。

これらは理論上の推定値であり、実測値ではありません。計算バッファ、DeltaNet層の状態、画像エンコーダーは考慮されていません。また、Gemmaの推定値に幅があるのは、キーと値の共有について不確実な点があるためです。Qwen 3.5 9B（6.6 GB）では、32,000トークンで約4.4 GBの余裕が残ります。128,000トークンでは、キャッシュだけで4 GiBに達し、全体で12 GB近くになります。実際の結果はollama psで確認してください。

次の改善策はキャッシュの量子化です。OllamaのFAQによると、q8_0はf16の約半分のメモリを使用し、精度の低下はごくわずかです。Flash Attentionが必要で、カードとモデルが対応していれば、Ollamaが自動的に有効にします。コンテキストが長くなると、生成も遅くなります。Hardware Cornerの測定では、Qwen3 8Bのコンテキスト長が4k、16k、32kと増えるにつれて、生成速度は71、52、38トークン/秒と低下しています。

• KV キャッシュを量子化して、長いコンテキストでの VRAM 使用量を削減

#Ollamaをインストールし、モデルがメモリに収まることを確認する

ドキュメントによると、WindowsではOllamaにNVIDIAドライバー551.61以降が必要で、4070シリーズは対応カードに含まれています。この手順ではモデルをインストールし、その処理が100％カード上で実行されていることを確認します。

1. 01
   ドライバを確認

   NVIDIAアプリケーションを開くか、ターミナルでnvidia-smiを実行してください。ドライバーのバージョンは551.61以降である必要があります。
2. 02
   Ollama のインストール

   OllamaのサイトからWindows用のプログラムをダウンロードしてください。その後、ローカルAPIは http://localhost:11434 でリクエストを待ち受けます。
3. 03
   モデルの起動

   ターミナルを開き、ollama run qwen3.5:9b を実行してください。6.6 GBのダウンロードは一度だけ行われます。
4. 04
   メモリの割り当てを確認

   別のターミナルで ollama ps を実行してください。「プロセッサ」列に 100 % GPU と表示される必要があります。CPU/GPU の割合が 48 % / 52 % のようになっている場合は、モデルの一部がシステムRAMに退避していることを意味します。
5. 05
   コンテキストとキャッシュを設定する

   Ollamaアプリの設定、またはOLLAMA_CONTEXT_LENGTHでコンテキスト長を増やし、その後ollama psを再実行してください。メモリの余裕が足りない場合は、サーバー起動時にOLLAMA_FLASH_ATTENTIONを1、OLLAMA_KV_CACHE_TYPEをq8_0に設定してください。

ollama run qwen3.5:9b
ollama run gemma4:12b
ollama ps

# Exemple de la documentation Ollama pour fixer le contexte à 64 000 tokens
OLLAMA_CONTEXT_LENGTH=64000 ollama serve

• Windows 11 への Ollama インストール：完全ガイド
• Ollamaのトラブル対応：GPUの検出失敗、遅延、メモリエラー

#第三者が測定した処理速度と理論上限

QuelLLMはここに自社測定を公開していません。すべてのデータは第三者のソースから来ており、それぞれのモデルとコンテキストに基づいています。Hardware Cornerは2026年3月にRTX 4070を測定しました。XDAは2026年6月にRTX 4070 Tiについてのテストを公開しました。

理論上の上限は、これらの数値を判断する目安になります。生成速度は、帯域幅をモデルの重みのサイズで割った値を超えることはできません。Qwen3 8B（Ollamaでは5.2 GB）の場合、504 ÷ 5.2は約97トークン/秒となり、4kでの実測値71.2はその73％に達します。Qwen3 14B（9.3 GB）は上限が54、実測値が42.5で、上限の78％です。XDAはQwen 3.5 9B（上限76）で65〜67を記録しており、上限の85〜88％に相当します。Gemma 4 12B（7.6 GB、上限66）にこの73〜88％という範囲を当てはめると、48〜58トークン/秒になります。これは推定値であり、実測値ではありません。

これらの数値はllama.cppのコミュニティランキングに由来し、そこにRTX 4070は表示されていません。生成速度は帯域幅に追従します：672 GB/sの2つのカード（1つは12 GB、もう1つは16 GB）はほぼ同じ速度で動作し、288 GB/sの4060 Tiはその半分の速度です。比例計算により、504 GB/sの4070は、この3.56 GiBのモデルで約99トークン/秒になると推定されます。これは推定値であり、実測値ではありません。

#12GBを超える場合：Qwen 3.8、Mistral Small、gpt-oss

Qwen 3.8 は Ollama ライブラリにおいて 270 億パラメータ版のみが存在し、Q4_K_M では 18 GB です。これは RTX 4070 のメモリを 6 GB 超過しており、GPU と RAM に分散して配置されます。また、これは Dense モデルであるため、各トークンがすべての重みを再読み込みします。GPU に 11 GB（504 GB/s）、RAM に 7 GB（DDR5 デュアルチャネルの仮定で 60 GB/s）を割り当てた場合、1 トークンあたりの処理時間は GPU 側で 22 ms、RAM 側で 117 ms となり、上限は約 7 トークン/秒に低下します。一方、Qwen 3.5 9B では 76 トークン/秒です。

エキスパート型モデルは、メモリオーバーフロー（CPUへのオフロード）に適しています。gpt-oss 20B は、仕様書によると、総パラメータ数が210億で、1トークンあたりアクティブなパラメータ数は36億です。llama.cpp の --n-cpu-moe オプションは、最初のN層のエキスパートをメインメモリ（RAM）に保持し、アテンションとキャッシュはGPUカード上に保持します。llama.cpp の gpt-oss 向け公式ガイドでは、RTX 2060 8 GB の例として、コンテキスト長32,000トークンに対して、エキスパート層16層をCPUに配置する設定が示されています。12 GB の場合、Nを段階的に下げ、メモリエラーが発生する直前まで下げてから、1段階戻します。

llama-server -hf ggml-org/gpt-oss-20b-GGUF --ctx-size 32768 --jinja -ub 2048 -b 2048 --n-cpu-moe 16

この方法に関する RTX 4070 での出典のある測定値は見つかりませんでした。スループットは RAM と N に依存するため、ご自身で測定する必要があります。あるユーザーは 2025 年 8 月に、Ollama 上で RTX 4070 を使用し gpt-oss 20B を実行した際、CPU 47% と GPU 53% の自動分割で約 10 トークン/秒であったと報告しています。以降、バージョンや設定が変更された可能性があります。

#結論：どの4070を使えばよいか、そして16GBにアップグレードする時期はいつか

RTX 5070は速度を改善しますが、容量は増えません。NVIDIAは192ビットバスのGDDR7を12GB搭載しており、28 Gbit/sでのメモリ帯域幅は672 GB/sです。4070の504 GB/sを上回ります。より大きなモデルをメモリに収めるには、16GBの容量が重要です。5070と4070 Ti Superのガイドでは、それぞれのケースを詳しく説明しています。

価格は変動が激しいため、当サイトでは毎週月曜日と木曜日に、ローカルAI向けグラフィックカードの最低価格とVRAM 1 GBあたりの価格を確認しています。

• ローカル AI 向けグラフィックカードの価格（週 2 回更新）

• 出典：NVIDIA、RTX 4070シリーズ仕様
• 出典：Puget Systems、一般消費者向け GPU の LLM 性能
• 出典：Ollama ドキュメント、コンテキスト長
• ソース：OllamaのFAQ、Flash AttentionおよびKVキャッシュ
• 出典：gpt-ossを実行するためのllama.cppガイド

#よくある質問

• RTX 3080 / 3080 Ti で利用可能なLLM：4070との比較