グラフィックスカードの価格についてはローカルAI

ローカルでLLMを動かすには、どのグラフィックスカードを買えばよいですか？

まずビデオメモリ（VRAM）を確認してください。モデル全体がVRAMに収まる必要があります。収まらない場合は、一部がPCのシステムメモリに移され、速度が大幅に低下します。Q4量子化では、約140億パラメータまでのモデルには12 GB、約240億パラメータまでのモデルには16 GB、300億〜350億パラメータのモデルには24〜32 GB、約700億パラメータまでのモデルには48 GBあれば十分です。メモリ容量が同じなら、差を決めるのは帯域幅です。帯域幅が生成速度を決定します。

ローカルAIにはNVIDIA、AMD、Intelのどれを選ぶべきですか？

NVIDIAは依然として最も手軽な選択肢です。CUDAはすべてのツール（Ollama、LM Studio、llama.cpp、vLLM）でサポートされています。Radeon RX 9000とAI PRO R9700は、Ollama（ROCm 7）、LM Studio、llama.cppでサポートされていますが、場合によっては設定の手間が少し増えます。Intel Arcでは主にVulkanまたはSYCL（llama.cpp、LM Studio）とOpenVINOを利用します。VRAMを最も安く確保できることが多い一方、エコシステムの成熟度は最も低い選択肢です。

RTX 5090はAI用途で価格に見合う価値がありますか？

これは32 GB搭載の最速の一般消費者向けカード（1 792 GB/s）ですが、直近の調査では6 699,95 €で、発売時の2 349 €から上昇しています。32 GBなら、Radeon AI PRO R9700（2 299,95 €）またはIntel Arc Pro B70（2 299,95 €）のほうがはるかに安く、速度は約2,8倍低い程度です。非常に大規模なモデル向けには、ひとつの 128GBの統合メモリを備えたミニPC が引き続き代替の選択肢となります。

これらの価格の情報源は何ですか？また、いつ更新されますか？

価格は、当サイトの提携先である Materiel.net の商品フィードから取得し、毎週月曜日と木曜日に自動で記録しています。各チップについて、ブランドを問わず、在庫があるか7日以内に発送されるカードのうち、最も安いものを採用しています。Amazon の価格は保存していません。Amazon は直近の価格の表示のみを認めているため、価格はボタン上にリアルタイムで表示されます。リンクはアフィリエイトリンクです。購入すると当サイトに報酬が入りますが、購入者に追加費用はかかりません。また、購入による報酬は、自動計算されるランキングに影響しません。

速度はどのように推定していますか？

各トークンを生成するために、カードはメモリ内のモデル全体を読み直します。最大速度は、帯域幅をモデルサイズで割った値にほぼ等しくなります。ここでは70%を係数として採用し、Q4量子化（約9 GB）の14Bパラメータモデルを想定します。実際の測定値はソフトウェアやドライバーによって異なります。これはカードを比較するための目安であり、保証ではありません。