GTX 1650 / 1660 / Super / TiではどのLLMを選ぶべきか ?

#GTX 16シリーズでLLMを使う：押さえておくべきポイント

LLMに関して、GTX 16シリーズのメモリ容量は、GTX 1650が4GB、GTX 1660および1660 Super・1660 Tiが6GBです。生成速度は帯域幅に依存し、128GB/s（GDDR5搭載の1650）、192GB/s（1660）、288GB/s（1660 Ti）、336GB/s（1660 Super）と異なり、同等の6GBメモリを持つ中で1660 Superが最も速く、元の1660が最も遅いです。

このシリーズにはTensor CoresもRT Coresもありません。ウィキペディアによると、RTX 20のTuringアーキテクチャをベースに、この2種類の演算ユニットを省きつつ、整数演算専用コアは維持しています。整数形式に量子化されたモデルでは、Tensor Coresがないことによる生成への影響は小さいです。

#Tensor CoresなしのTuring：Pascalと比べて何が変化したか

このシリーズの強みはFP16です。GTX 1660の場合、Wikipediaによると、半精度では8,617 GFLOPS、単精度では4,309 GFLOPSとされています。FP16はFP32の2倍の速度で動作しますが、GTX 1080 Tiのガイドが示すように、GTX 10のような一般向けGPUではFP32よりもはるかに遅くなります。これが、1660が192 GB/sという同等の帯域幅において、GTX 1060を生成速度で大きく上回り、CUDA 13でもサポートが廃止されなかった理由です。

反例はプロンプトの読み取りにあります。llama.cpp のベンチマークでは、1660 のプロンプト処理は 148.91 トークン/秒であるのに対し、GTX 1060 は 416.85 トークン/秒です。より新しいカードが、長いテキストをほぼ3倍速く読み取れる可能性があります。ベンチマークは原因の詳細を述べておらず、結果は単一のコントリビューターによるもので、オーダーオブマグニチュードとして読むべきです。それでも、長文書への過度な期待を和らげるには十分です。

• GTX 1080 Ti：PascalにおけるFP16がもたらす変化

#4つのバリアントを一つずつ

GTX 1650 (4 GB)

このベンチマークには1650の測定結果はありませんが、同じ帯域幅を持つ4 GB・128ビットの Quadro T1000 の結果があります。最小限のコンテキストなら、7Bモデルを Q4_0 でメモリに収め、27.82トークン/秒で動かせます。これが限界です。4 GB では、20億〜30億パラメータのモデルを選ぶほうがよいでしょう。

GTX 1660 (6 GB GDDR5)

テストに使用したカード：生成速度は41.35トークン/秒。6 GBモデルの中では最も遅いものの、Q4でのチャットには十分です。

GTX 1660 Ti (6GB GDDR6)

288 GB/s：1660より帯域幅が50％広いため、処理速度も同程度向上すると見込まれますが、実測での確認が必要です。

GTX 1660 Super (6 GB GDDR6)

336 GB/s：LLM 用途ではシリーズで最も優れており、1660 よりメモリ帯域幅が 75% 広くなっています。

これらの推定は、帯域幅だけに基づいています。1660の効率（理論上限の82％）を当てはめると、同じ7B Q4_0モデルで、1660 Tiは約62トークン/秒、1660 Superは約72トークン/秒を生成すると予測されます。これらはお使いのカードでの測定によって確認すべき予測値であり、実測結果ではありません。

購入時の注意点：GTX 1650には2種類あります。2019年の初期版は128ビットのGDDR5を使用し、帯域幅は128GB/sです。2020年4月の改訂版では12Gbit/sのGDDR6に変更され、帯域幅は192GB/sになりました。LLMでは、同じモデルでも処理速度が最大で50％向上する可能性があります。中古の1650を購入する前に、出品情報のGDDR5またはGDDR6という表記を確認するか、GPU-Zで仕様を確認してください。

#4 GB・6 GB環境でのコンテキスト：本当の上限

Ollama は 4,096 トークンのウィンドウで起動し、OLLAMA_CONTEXT_LENGTH で変更できます。KV キャッシュは会話の各トークンに応じて増加します。ウィンドウを倍にすると、キャッシュも倍になります。6 GB の環境で Granite 4.2 8B を Q4 で使用する場合、約 1.4 GB の余裕はすぐに消費されます。4 GB の環境では、3B のモデルを使用すると 2 GB の余裕があり、6 GB の環境で 8B を使用する場合よりも余裕があります。

実用上の目安として、量子化をさらに強めるよりも、モデルのサイズやコンテキストの長さを減らしてください。これらのグラフィックカードでは、コンテキストの長い3Bモデルのほうが、一部の処理をCPUにオフロードする8Bモデルよりも良い結果を得られます。ollama ps で、モデルが常に100 % GPU上で動作していることを確認してください。一部がCPU側にオフロードされると、生成速度が大きく落ちます。システムメモリはグラフィックカードのメモリよりもはるかに遅いためです。

#収まるモデル：4 GB と 6 GB の比較

当サイトの目安では、Q4の3Bモデルは約2 GB、7〜8Bモデルは約5 GBで、KVキャッシュの分は別途必要です。6 GBでは、Q4のGranite 4.2 8Bを読み込むと約1.4 GBが残ります。数千トークンのコンテキストには十分ですが、それ以上の余裕はありません。4 GBでは、3Bモデルが妥当な上限です。

1650では、パラメータ数が20億〜40億のモデルに絞ってください。これは下書き、翻訳、分類にも適した範囲です。1660では、Q4の8Bモデルが限界です。チャットには使えますが、長いコンテキストを確保する余裕はほとんどありません。

#ソフトウェアサポート：GTX 10に比べて明確な利点

Ollamaでは、最近のカードにはNVIDIA 550以降のドライバーが必要ですが、compute capabilityが5.0～6.2のカード（Pascalを含む）には570が必要です。Ollamaの公式リストには、GTX 1650 TiとRTX 20シリーズがcompute capability 7.5として掲載されています。その他のGTX 16シリーズも同じTuringアーキテクチャを採用していますが、リストには個別に記載されていないため、インストール時に確認が必要です。

CUDA 13のリリースノートによると、サポート終了の対象はTuringより前のアーキテクチャ（Maxwell、Volta、Pascal）です。Turing、つまりGTX 16シリーズは引き続きサポートされています。中古で購入するなら、価格が近いGTX 10シリーズよりGTX 16シリーズを選ぶ主な理由はここにあります。

#インストールおよび設定

1. 01
   ドライバを確認

   nvidia-smiを実行してください。バージョンは550を超えている必要があります。
2. 02
   Ollama のインストール

   お使いのシステムに対応するインストールガイドに従い、その後、メモリ容量に合ったモデルをダウンロードしてください。
3. 03
   配置を確認

   ollama ps を実行してください。PROCESSOR 列には 100 % GPU と表示されるはずです。CPU にも分散している場合は、モデルが GPU メモリに収まりきっていないことを示します。
4. 04
   コンテキストを制限する

   Ollama は4,096トークンから開始します。4GBまたは6GBの場合、メモリの余裕が確認された上でのみ値を増やすようにしてください。

Flash Attention は Tensor Cores を搭載したカード専用ではありません。llama.cpp は GTX 1660 でも Pascal 世代のカードでもこれを実行できます。ベンチマークでは、有効時にプロンプト処理が 154.45 トークン/秒、生成が 41.43 トークン/秒で、無効時はそれぞれ 148.91 トークン/秒と 41.35 トークン/秒でした。速度の向上はわずかですが、コンテキストに必要なメモリが減るため、6 GB の環境では役立ちます。Ollama は、カードが対応している場合、Flash Attention を自動的に有効にします。

• Ollamaをステップごとにインストール
• Ollamaのトラブルシューティング：GPUが検出されない、動作が遅い
• KVキャッシュを量子化してVRAMを節約する

#結論：どのGTX 16が適しているか、そしていつ他の選択肢に切り替えるべきか

最後の確認ポイントとして、これらのカードは重負処理には適していませんが、発熱量は比較的低い（WikipediaによるとGTX 1660は120W）です。日々数問の質問に応えるローカルアシスタント向けに、250Wのカードに比べて実質的な利点があります。

中古品を同程度の予算で選ぶなら、1660 SuperはGTX 1060や1070より良い選択肢です。メモリ容量は同じで、メモリがより高速なうえ、ソフトウェアサポートもより長く続きます。新品を購入する場合や日常的に使う場合は、RTX 3050やRTX 2060ならTensor Coresが加わり、バージョンによってはメモリ容量も増えます。価格は毎週変わるため、当サイトの価格ページを確認してください。

• RTX 3050で使えるLLMは？
• RTX 2060 / 2060 Superで使えるLLMは？
• 6 GBのVRAMで使えるモデルは？すべてのカードが対象
• AI向けGPU価格比較

• 出典：CUDA での llama.cpp 公開ベンチマーク
• 出典：Ollamaドキュメント、対応NVIDIAハードウェア
• 出典：GeForce 16シリーズ、仕様
• ソース：CUDA Toolkit リリースノート