RTX 4080／4080 Super（16 GB）で使うなら、どのLLM？ ?

#ローカルLLM向けのRTX 4080：16 GBと716 GB/sでできること

RTX 4080またはRTX 4080 Superでは、4Bから24BまでのモデルをQ4でVRAMにすべて収容可能です。Gemma 4 12B（7.7〜8GB）、gpt-oss 20B（14GB）およびMistral Small 24B（14GB）は収容可能です。後者のモデルはコンテキスト用に約2GBの余裕を持ちます。以下に引用された第三者の測定値では、RTX 4080で8BモデルをQ4で生成する際の生成速度が106トークン/秒とされ、インタラクティブな使用においては高速なカードであると評価できます。しかし、容量の制限は依然として存在します。Qwen 3.5 27BはOllamaによれば17GBを消費しており、収容できません。このような規模のモデルには24GBのVRAMが必要です。したがって、RTX 4080は中規模モデル向けの高速カードであり、容量を確保するためのカードとは言えません。

アーキテクチャ

Ada Lovelace、AD103チップ。

メモリ

256ビットバスに搭載されたGDDR6X 16GB：Wikipediaによると、4080モデルでは716.8GB/s、4080 Superモデルでは736GB/sです。

CUDAコア

NVIDIAによると、4080は9,728、4080 Superは10,240です。

消費電力

両方のバリアントでグラフィック総消費電力は320 Wです。NVIDIAはPCの最小電源容量を750 Wと示しています。

発売価格

4080 は2022年11月に1,199ドル、続いて4080 Super は2024年1月に999ドルでした。

#4080または4080 Super：LLM向けの実際の性能差

Super版はCUDAコア数が5％多く（10,240対9,728）、メモリ帯域幅も2.7％大きくなっています（736対716.8GB/s）。テキスト生成では、実際に重要なのはメモリ帯域幅だけです。そのため、理論上の向上幅は3％未満で、使用時には違いを感じられません。両カードともメモリ容量は16GB、消費電力は320Wで、読み込めるモデルも同じです。4080 Superに追加料金を払う価値があるのは、価格が同じか、ほぼ同じ場合に限られます。中古価格は毎週変動するため、固定された数値ではなく、価格の推移を確認してください。

#16 GB に収まるモデル

Ollamaはデフォルトで4,096トークンのコンテキストを使用します。2GBの余裕があれば、14GBのモデルでも、K/Vキャッシュを量子化することを条件に、より長いコンテキストを扱えます。Ollamaには、Flash Attentionと併用するq8_0形式があり、f16の約半分のメモリを使用します。この2つの設定が、gpt-oss 20BやMistral Small 24Bを16,000トークンのコンテキストで使うための鍵になります。

export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_CONTEXT_LENGTH=16384
ollama serve

#公表された唯一の測定結果：4080について何が分かるか

公開GitHubリポジトリは、llama.cppを使用したLLaMA 3のGPU比較を示しています（2024年5月のインスタンス、Ubuntuシステム、RunPod環境）。RTX 4080 16GBにおいて、Q4_K_M 8Bモデルで1024トークンの生成において106.22トークン/秒を記録し、同モデルをF16で実行した場合、40.29トークン/秒となり、14.96GBのメモリを消費するため、ほぼすべてのVRAMを消費します。これらのデータは第三者による測定であり、サイトに掲載されているモデルよりも古く、llama.cppの旧バージョンを使用しています。概算として理解するものであり、保証とは見なしてはなりません。

ここから2つのことが分かります。まず、コンテキストが長くなると生成速度は低下します。この測定では、コンテキストを512トークンから8,192トークンに増やすと、速度が約13%低下します。各トークンの生成時に読み込む重みに加えて、K/Vキャッシュも読み込む必要があるためです。次に、実測値が理論上限に対してどの程度に達しているかを計算できます。716.8 GB/sをQ4の8Bモデルのサイズである4.58 GBで割ると156トークン/秒となり、実測値はその68%に達しています。F16では上限が48トークン/秒で、実測値はその84%に達しています。したがって、この比率は形式によって68〜84%の範囲で変わります。

これらの推定値は、短いコンテキストの場合に当てはまります。gpt-oss 20Bモデルは、各トークンでアクティブなエキスパートだけを読み込みます。そのため、14GBの密なモデルを上回りますが、ここでは信頼できる実測値を掲載していません。

#プロンプトの読み込みは生成よりもはるかに速い

同じ測定結果は、最初の応答前に質問やドキュメントを読み込むプロンプト処理も示しています。1,024トークンで5,065トークン/秒、8,192トークンで2,882トークン/秒です。約8,000トークン（15ページ程度）のドキュメントは、生成が始まる前に約3秒で読み込まれます。この段階は帯域幅ではなく計算に制約され、4060 Tiのような288 GB/sのカードと比較して、4080の追加コアの恩恵がここで見えます。

#4080の性能を活かせる用途：エージェント、RAG、コーディング

この速度のカードは、エージェント、コード修正のループ、文書のバッチ処理など、多数の生成を連続して行う用途に適しています。8Bモデルで100トークン/秒なら、1ステップあたり500トークンを生成するエージェントは数秒で応答します。一方、16 GBという容量は、コンテキストの長さと読み込めるモデル数を制限します。読み込むモデルは、14 GBを使う12Bモデルを1つと、RAG用の小型埋め込みモデルにとどめてください。gpt-oss 20Bのような推論モデルは、回答前に長い思考過程を生成するため、コンテキストを消費します。

#モデルが遅くなる場合：VRAMに適切に収まるか確認してください

16 GBの環境では、14 GBのモデルは余裕が少なく、会話中にコンテキストが増加するとオーバーフローする可能性があります。その兆候は、生成が突然遅くなることです。モデルの一部がシステムRAMに移行している状態です。この確認は1分で済み、カードが遅いという誤った結論を避け、問題がコンテキスト設定にあることを認識できます。

1. 01
   配置を確認する

   別のターミナルで ollama ps を実行してください。PROCESSOR 列には 100 % GPU と表示される必要があります。CPU/GPUに処理が分かれている場合は、モデルがVRAMに収まりきらず、一部がシステムRAMにオフロードされていることを示します。
2. 02
   コンテキストを縮小

   OLLAMA_CONTEXT_LENGTHを8192、またはデフォルト値の4096まで下げてから、サーバーを再起動してください。
3. 03
   キャッシュを量子化する

   Flash Attentionを有効にし、OLLAMA_KV_CACHE_TYPE=q8_0 を設定してください。K/Vキャッシュはf16のメモリの約半分を使用します。
4. 04
   VRAMを解放

   ゲームやハードウェアアクセラレーションを使用するブラウザなど、GPUを使用しているアプリケーションを終了し、nvidia-smiで確認してください。
5. 05
   モデルの変更

   どの対策でも不十分な場合は、より軽量なモデルに切り替えてください。たとえば、Mistral Small 24Bの代わりにGemma 4 12Bを使用します。

• Ollamaのトラブルシューティング：GPU未検出、遅延、メモリエラー

#4080 と 4070 Ti Super、5070 Ti、5080 の比較

これらのカードはすべてメモリ容量が同じなので、同じモデルを読み込めます。変わるのはスループットだけで、帯域幅に比例します。4080と4070 Ti Superの差はわずか6％です。価格差が大きければ、Ti Superのほうがお買い得です。50シリーズのカードと比べると、4080は20～25％遅いものの、中古価格が安ければ並ぶものがありません。この選択の決め手は価格であり、スペックではありません。

• RTX 4070 Ti Super で使用するLLMは？
• RTX 5070 Tiで使えるLLMは？
• RTX 5080でどのLLMが適しているか
• ローカルAI向けグラフィックカードの価格

#2026年の結論：使い続ける、購入する、それとも見送る

4080を使い続けるべき場合

使用するモデルが16 GBに収まる場合です。このカードは今でも高速で、24 GBが必要になるまでは買い替える理由はありません。

次の場合は中古で購入してください

価格は、帯域幅が約25％高い5070 Ti新品よりもはるかに低く、その点で優れています。

24 GB を目指す場合に

27B以上のモデルを使いたい場合：コンテキストも含めて17GBを16GBに収めることは、どのように設定を調整してもできません。

2022年または2023年のカードは、マイニングや負荷の高いゲームに使われていた可能性があります。購入時の請求書があれば提示を求め、返品に応じる販売者を優先してください。中古品を購入する前に、nvidia-smiでカードのメモリ容量が16 GBと表示されることを確認し、14 GBのモデルを起動して、長時間の生成中に温度を監視してください。カードの消費電力は最大320 Wです。電源を確認してください。NVIDIAは最低750 Wを推奨しています。

• ソース：NVIDIA の公式仕様（RTX 4080 および 4080 Super）
• ソース：llama.cppによるGPU上のデュアルスループスレッドレーティング（GitHub）
• 出典：Ollama公式FAQ（Flash Attention、K/Vキャッシュ）

#よくある質問