Llama 3.1 70B

01できること

05インストール

インストール Ollama お使いのOS向け。ダウンロード前にモデルと量子化を確認してください。まずはコンテキストを4096トークンに設定し、その後、ollama ps でモデルの配置先を確認してください。以下にコマンドが記載されていることは、お使いのマシンでテストが実行された証拠にはなりません。

02必要なメモリ

このモデルを動作させるためのGPU VRAMの概算値（4kトークンのコンテキストオーバーヘッドを含む）。より長いコンテキストが必要な場合は、8kトークンごとに約1 GBを追加してください。

Llama 3.1 70Bに必要なハードウェアは？

Llama 3.1 70BをQ4量子化でローカル実行するには、VRAM 40 GB程度が必要です。比較候補：GMKtec EVO-X2 64GB / 1TB (Ryzen AI Max+ 395) — システムとコンテキスト用のメモリに余裕を持たせ、推論エンジンがGPUに対応していることを確認してください。

03予想速度

Q4_K_M、コンテキスト 4k での毎秒生成トークン数。 20 t/sを超えると快適に読めます。 10 t/s未満では、試用にとどまります。

04パブリックベンチマーク

スコアはモデルカード、またはMMLU-Pro／コミュニティの資料から転載したものです。単位：正答率（%）。