Llama 3.3 70B InstructvsLlama 3.1 70B
徹底比較: Llama 3.3 70B Instruct (70Bパラメータ、Meta) および Llama 3.1 70B (70B, Meta)。量子化形式ごとの必要VRAM、基準となる4種類のGPUで測定したトークン/秒、用途ごとの評価、ライセンス、インストールコマンド。すべての数値はカタログデータから計算されており、ページ間のコピー&ペーストは行われていません。
要約
| 特徴 | Llama 3.3 70B Instruct | Llama 3.1 70B |
|---|---|---|
| パラメータ | 70B | 70B |
| ファミリー | Llama | Llama |
| 著者 | Meta | Meta |
| 開発国 | US | US |
| ライセンス | Llama 3.3 Community | Llama 3 Community |
| コンテキスト | 128 000 トークン | 131,072トークン |
| 公開日 | 2024年12月 | 2024年7月 |
メモリフットプリント
平均的なコンテキストウィンドウでの推論に必要なVRAMの概算値です。勝者(緑色)は消費量が moins — 小規模モデルに有利。
| 量子化 | Llama 3.3 70B Instruct | Llama 3.1 70B |
|---|---|---|
| Q4_K_M(軽量) | 40 GB | 40 GB |
| Q5_K_M(バランス型) | 48 GB | 48 GB |
| Q8(ほぼ無損失) | 75 GB | 75 GB |
| FP16(最高品質) | 140 GB | 140 GB |
| CPUのみで実行する場合のRAM | 64 GB | 64 GB |
推定速度(トークン/秒)
各GPUで実行可能な最適な量子化に基づく推定値です。実際の数値はプロンプト、コンテキスト、エンジン(llama.cpp、vLLM、MLX)によって異なります。 方法論.
| 基準となるGPU | Llama 3.3 70B Instruct | Llama 3.1 70B |
|---|---|---|
| RTX 4090 (24 GB) | ✗ 重すぎる | ✗ 重すぎる |
| RTX 4080 (16 GB) | ✗ 重すぎる | ✗ 重すぎる |
| RTX 3060 12GB (12 GB) | ✗ 重すぎる | ✗ 重すぎる |
| Apple M4 Pro (48 GB) (36 GB) | ✗ 重すぎる | ✗ 重すぎる |
ユースケース別評価
一般的な用途ごとに、タグ、サイズ、専門性に基づいてどちらが最も適しているかを示します。
お使いのマシンで、プライベートかつ無料のChatGPTを1時間で構築 — LM Studio、Ollama、Open WebUI、ご自身のドキュメント、クラウド不要。
- 永久に利用できるオンラインスペース
- PDF + ファイル
- 30日間返金対応
強みと弱み
Llama 3.3 70B Instruct
Llama 3.1 405B と同等の品質を、1/6 のサイズで実現。重みはコミュニティライセンスで提供され、HF でのアクセスには承認が必要。
- 405Bと同等の品質を6分の1のサイズで
- 128k ctx
- 推論とコードに非常に強い
- HF gated(Meta の利用規約に同意)
- MAUが7億を超える場合の条項付きコミュニティライセンス
- ビジョン非対応
インストール
Llama 3.1 70B
自宅で使えるGPT-4。高性能ワークステーション向け(最低でも3090を2枚)。
- 品質の基準となるオープンウェイトモデル
- 128k コンテキスト
- 論理的推論において非常に優れている
- Q4でVRAM 40 GB(最低でも3090を2枚)
- 月間アクティブユーザー数(MAU)が7億を超える場合、商用利用に制限があるライセンス
インストール
よくある質問
RTX 4090(24 GB)では、Llama 3.3 70B Instruct と Llama 3.1 70B のどちらがより快適に動作しますか?
RTX 4090上で、Llama 3.3 70B Instructは24GBでは持たず、一部をCPUにデコードする必要があります。Llama 3.1 70Bも24GBでは持たず、同様の対応が必要です。詳細は 構成ツール で、お使いのGPUの機種を指定して試してみてください。
VRAM消費が最も少ないのはどれか?
どちらもQ4では同じ量のVRAM(40GB)が必要です。そのため、ライセンスや実際に感じる品質を基準に選ぶことになります。
これらのモデルは商用の本番環境で使用できますか?
Llama 3.3 70B Instruct はLlama 3.3 Communityライセンスの下で提供されています。制限事項(特に月間ユーザー数のしきい値)を確認してください。 Llama 3.1 70B はLlama 3 Communityライセンスの下で提供されています。こちらの利用条件も確認してください。SaaSにはApache 2.0またはMITを優先してください。
2026 年にどれを選ぶべきか?
主な制約条件によります。 より小さい / より高速 : Llama 3.3 70B Instruct (70B)。 より高性能 : Llama 3.3 70B Instruct (70B)。迷っている場合はこれを起動してください 構成ツール お使いのGPUとユースケースに基づいて判断します。
検討すべき代替案
どちらもご希望に合わない場合は、検討できる類似モデルを以下に紹介します。