QuelLLMによる測定

3 つのモデル、1 台のマシン、証拠

2026年9月12日にRTX 5070 Ti Laptopで行った試験:実測値12,227 MiB、Ollama使用、コンテキスト4096、リクエストは一度に1件。デスクトップ版、RTX 5090、Macへの外挿は行っていません。

以前のマルチマシン用マトリクスは、検証可能な成果物がないため削除しました。この資料では、このパイロットの測定結果を公開しています。各モデルについてウォームアップ後に五回繰り返して測定しています。AI TOP ATOMシリーズの測定結果は、下の独自セクションに掲載しています。

モデル量子化中央値 tok/sMin–maxFRコードフランス語の文書
qwen3:8bQ4_K_M59.7159.45–59.96成功事実と形式の両方で合格
hermes3:8bQ4_071.9771.79–72.15失敗成功した事実、キーが異なる
mistral-nemo:12bQ4_047.4447.37–47.56成功事実と形式の両方で合格

このテストから言えること

Hermes3はこのテストでは生成が速いものの、その関数は重複を正しく削除できず、値を並べ替えてしまいます。Qwen3とMistral Nemoはこの課題に成功しています。したがって、生成速度だけでは品質を証明できません。コードの課題1件と合成データを使った抽出課題1件だけでは、あらゆる用途についてモデルの順位を決めるには不十分です。また、Hermes3の出力は256トークンの上限にも達しています。

データを再現して調査する

生データでは、プロンプト処理と生成が分けられています。プレフィックスキャッシュは前者に影響する可能性がありますが、表示されるスループットは生成のみを対象としています。これはエネルギーの測定値でも、アプリケーション全体のレイテンシでもありません。

AI TOP ATOMシリーズ(GIGABYTE)、2026年10月

GIGABYTEが無償提供するAI TOP ATOMシリーズ(NVIDIA GB10、128 GB)では、2026年10月8日から週に一度のペースで公開されたガイドが7本あります。各ガイドのデータはここで公開しています。ガイドに掲載されている各表をCSV形式(セミコロン区切り、UTF-8、1行目に凡例)で収録し、手法とモデルのフィンガープリントも掲載しています。シリーズのデータ、インフォグラフィック、写真:ライセンス CC BY 4.0、ローカルLLMナビ を明記すれば自由に再利用できます。

3つのデータの種類

「QuelLLMによる測定」は、実験の成果物と結び付いた実験を指します。「外部測定」には、測定者と測定手順を明記する必要があります。「推定」は、特に構成ツールの経験則に基づく速度やメモリ所要量の見積もりを指します。これらの値は、今回の新しいテストから得られたものではありません。

方法論 · 自分のマシンに合わせて選ぶ · 無料でローカル AI をインストールする