3 つのモデル、1 台のマシン、証拠
2026年9月12日にRTX 5070 Ti Laptopで行った試験:実測値12,227 MiB、Ollama使用、コンテキスト4096、リクエストは一度に1件。デスクトップ版、RTX 5090、Macへの外挿は行っていません。
以前のマルチマシン用マトリクスは、検証可能な成果物がないため削除しました。この資料では、このパイロットの測定結果を公開しています。各モデルについてウォームアップ後に五回繰り返して測定しています。AI TOP ATOMシリーズの測定結果は、下の独自セクションに掲載しています。
| モデル | 量子化 | 中央値 tok/s | Min–max | FRコード | フランス語の文書 |
|---|---|---|---|---|---|
| qwen3:8b | Q4_K_M | 59.71 | 59.45–59.96 | 成功 | 事実と形式の両方で合格 |
| hermes3:8b | Q4_0 | 71.97 | 71.79–72.15 | 失敗 | 成功した事実、キーが異なる |
| mistral-nemo:12b | Q4_0 | 47.44 | 47.37–47.56 | 成功 | 事実と形式の両方で合格 |
このテストから言えること
Hermes3はこのテストでは生成が速いものの、その関数は重複を正しく削除できず、値を並べ替えてしまいます。Qwen3とMistral Nemoはこの課題に成功しています。したがって、生成速度だけでは品質を証明できません。コードの課題1件と合成データを使った抽出課題1件だけでは、あらゆる用途についてモデルの順位を決めるには不十分です。また、Hermes3の出力は256トークンの上限にも達しています。
データを再現して調査する
- プロトコル、パラメータ、制限
- 回答全文とGPUへの配置 — 生のJSON
- 全反復測定データ — CSV
- 結果、識別子、量子化
- ハードウェア、バージョン、初期状態
- 再現可能なスクリプト
- 入力と出力を含む一式の資料
生データでは、プロンプト処理と生成が分けられています。プレフィックスキャッシュは前者に影響する可能性がありますが、表示されるスループットは生成のみを対象としています。これはエネルギーの測定値でも、アプリケーション全体のレイテンシでもありません。
AI TOP ATOMシリーズ(GIGABYTE)、2026年10月
GIGABYTEが無償提供するAI TOP ATOMシリーズ(NVIDIA GB10、128 GB)では、2026年10月8日から週に一度のペースで公開されたガイドが7本あります。各ガイドのデータはここで公開しています。ガイドに掲載されている各表をCSV形式(セミコロン区切り、UTF-8、1行目に凡例)で収録し、手法とモデルのフィンガープリントも掲載しています。シリーズのデータ、インフォグラフィック、写真:ライセンス CC BY 4.0、ローカルLLMナビ を明記すれば自由に再利用できます。
- ガイド1:128 GBで実際に動くLLMはどれか : 表 1 · 表 2 · 表 3 · 表 4 · 表 5 · 表 6
- ガイド2:AI TOP ATOMとDGX Spark : 表 1 · 表 2 · 表 3 · 表 4 · 表 5 · 表 6
- ガイド3:GB10、Ryzen AI Max+ 395、またはMac : 表 1 · 表 2 · 表 3 · 表 4 · 表 5
- ガイド4:ローカルで70BのLLMを実行する : 表 1 · 表 2 · 表 3 · 表 4 · 表 5
- ガイド5:ローカルでのファインチューニング : 表 1 · 表 2 · 表 3
- ガイド6:中小企業向けプライベートAIアシスタント : 表 1 · 表 2 · 表 3 · 表 4 · 表 5 · 表 6 · 表7
- ガイド7:ローカルAIの消費電力 : 表 1 · 表 2 · 表 3 · 表 4
3つのデータの種類
「QuelLLMによる測定」は、実験の成果物と結び付いた実験を指します。「外部測定」には、測定者と測定手順を明記する必要があります。「推定」は、特に構成ツールの経験則に基づく速度やメモリ所要量の見積もりを指します。これらの値は、今回の新しいテストから得られたものではありません。