最適な埋め込みモデル FR

#埋め込みモデルとは何か、フランス語ではなぜ扱いが難しくなるのか

埋め込みモデルとは、テキスト（文、段落、チャンク）を数値のベクトルに変換するニューラルネットワークです。次元数はモデルによって384から4,096まで異なります。意味が近い2つのテキストからは近いベクトルが得られ、その近さは通常、コサイン類似度で測定します。これにより、ユーザーが「CDD」と入力したときに、共通する単語がなくても、RAG は「有期雇用契約」に関する一節を見つけられます。Ollama のドキュメントでも説明されているように、質問とドキュメントは同じモデルでエンコードする必要があります。そのため、モデルを変更した場合は、コーパス全体のインデックスを作成し直す必要があります。選ぶ際には、3つの点を確認すれば十分です。フランス語で学習されているか、コンテキストの長さが使用するチャンクを収められるか、ライセンスが予定する利用を認めているかです。

フランス語には、アクセント記号、母音の脱落（「l'employeur」）、法律分野の略語、文中に混ざる英語由来の技術用語など、特有の難しさがあります。モデル間の差は明確です。MTEB-Frenchベンチマークでは、検索スコアがall-MiniLM-L12-v2の0.43からBGE-M3の0.65まで開き、同じ質問セットで22ポイントの差があります。

#モデルを本当に区別する5つの基準

訓練言語

BGE-M3とQwen3-Embeddingは100以上の言語への対応をうたっており、multilingual-e5-largeは94言語への対応をうたっています。Ollamaで多くダウンロードされているnomic-embed-text-v1.5とmxbai-embed-large-v1のモデルカードには、Englishというラベルが付いています。

最大コンテキスト長

上限は、multilingual-e5-large、Solon、mxbai-embed-largeでは512トークン、EmbeddingGemmaでは2,048トークン、BGE-M3では8,192トークン、Qwen3-EmbeddingとGranite R2では32,000トークンです。それを超える長さのチャンクは拒否されず、切り詰められます。

次元数とストレージ

384から4,096の次元まであり、各次元および各ベクトルに対してfloat32で4バイトを使用します（詳細な計算は下記参照）。

ライセンス

BGE-M3、multilingual-e5-largeおよびSolonについてはMITライセンス、Qwen3-Embedding、Granite R2、nomicおよびmxbaiについてはApache 2.0ライセンス、EmbeddingGemmaについてはGemmaの条件、jina-clip-v2についてはCC BY-NC 4.0（非商用）ライセンスです。

プレフィックスと指示

一部のモデルでは、各テキストの前にプレフィックスが必要です（E5では、フランス語でも「query:」と「passage:」を使います）。付け忘れると、エラーが出ないまま検索品質が低下します。

#2026年のフランス語対応ランキング：9つのモデル比較

このランキングは編集的なものであり、自社テストではありません。フランス語のカバー範囲、公開されたベンチマーク、ローカルでの利用可能性を組み合わせています。モデルがOllamaのライブラリに含まれる場合、その重みはそのライブラリから取得され、含まれない場合はMTEB-Frenchの研究によって推定されたfloat32から取得されます。

BGE-M3 はまだ最良の選択肢です：そのフランス語のリトリーブ機能が公開されており、8,192トークンのコンテキストにより多くの強制的な切断を回避し、ハイブリッド検索に必要な語彙重みも提供します。GPUが利用可能な場合、Qwen3-Embeddingが候補となります：その8Bバージョンは2025年6月5日にMTEB多言語評価でトップを獲得しました（Qwenによる）、しかし4,096次元の次元数はストレージに負担をかけます。EmbeddingGemmaは低スペックのマシン向けです。

Solon は、法律・行政分野のフランス語に特化したモデルとしてよく紹介されますが、MTEB-French の研究で使われた3つの検索評価用データセットのいずれでも勝っていません。Syntec 労働協約では BGE-M3 と同等ですが、法律条文（BSARD）と学校教育に関する質問（Alloprof）では劣っています。

#フランス語のベンチマークから分かること、分からないこと

公表されている参照ベンチマークはMTEB-French（Cianconeほか、2024年5月）で、18のデータセット、8つのタスクカテゴリ、51のモデルを比較しています。著者らは、文の類似度を用いて事前学習した大規模多言語モデルが非常に優れた性能を示すと結論づけています。以下に、フランス語の法律条文（BSARD）、Syntec労働協約、Alloprofの学校教育に関する質問という3つのデータセットでの検索性能（NDCG@10）を示します。

三つの限界があるため、これを決定版のランキングとすることはできません。この研究は2024年のもので、Qwen3-Embedding（2025年6月）、EmbeddingGemma（2025年9月）、Granite R2は含まれていません。また、このページでは、これらのモデルについて比較可能なフランス語での測定結果を参照していません。コーパス（法律の条文、労働協約、学校の問題）は、ご自身のコーパスと必ずしも似ているとは限りません。さらに、モデルの提供元が公表する多言語スコアは自己申告で、すべての言語の結果が混在しています。

#どのモデルがどの用途に適するか：判断表

#企業向けにカスタマイズした埋め込み：オープンモデル、ファインチューニング、またはAPI

「用途に合わせる」とは、最初から独自のモデルを学習させることではありません。時間を無駄にしないための順序は、まず汎用のオープンモデル、丁寧なチャンク分割、ハイブリッド検索、リランカーを用意すること。次に、実際の質問でリコール（再現率）を測定すること。そして、それでも失敗が続き、その原因が業務用語（内部参照、社内独自の略語）にある場合に限って、ファインチューニングを行うことです。

Philipp Schmid は 2024 年 6 月、金融文書から抽出した 6,300 組の質問-パッセージペアを用いて bge-base-en-v1.5 モデルをファインチューニングしました。テストセットでの検索スコアは約 7.4% 向上し、トレーニング時間は一般消費者向けグラフィックカードで 3 分でした。これは英語のケースであり、単一のコーパス、LLM によって生成されたペアに基づくものです。したがって、これは目安であり、保証ではありません。BAAI はまた、BGE-M3 のファインチューニングについても文書化しています。

#マルチモーダル埋め込み：画像やドキュメントページ内での検索

マルチモーダル埋め込みモデルは、テキストと画像を同じベクトル空間に配置します。これにより、文章をもとに写真を検索したり、OCRを使わずにスキャンされたPDFのページを検索したりできます。このページのために確認したOllamaライブラリのモデル（BGE-M3、Qwen3-Embedding、EmbeddingGemma、nomic-embed-text、mxbai-embed-large）は、テキストのみを受け付けます。以下のマルチモーダルモデルは、Hugging Face（Sentence-TransformersまたはTransformers）を通じて使用します。

マルチモーダルモデルは、純粋なテキストでは優れているわけではありません。Qwenが公開した表では、Qwen3-VL-Embedding-2BはMTEB多言語で63.87を獲得していますが、3倍以上小さいテキストモデルであるQwen3-Embedding-0.6Bは64.33です。有用なコンテンツがテキストであるPDFについては、クリーンなテキストに変換し（DoclingまたはOCR）、テキスト埋め込みを使用してください。マルチモーダルは、図面、平面図、スクリーンショット、スライドなどの視覚コーパスに限定してください。

#エンベディングの管理：プレフィックス、切り詰め、保存、再インデックス化

RAGの性能は、モデルの選択よりも、こうした細部によって低下することがよくあります。まず、モデルのファミリーごとに、質問と文書それぞれに求められる入力形式が異なります。

Ollamaでは、mxbai-embed-largeの公式例は送信するテキストにプレフィックスを直接含めています。自分のコードでプレフィックスを追加してください。Qwenは、通常、指示を加えることで性能が1〜5％向上すると説明し、多言語コーパスの場合でも指示を英語で書くことを推奨しています。

#Ollama の落とし穴：通知なしの切り詰め

Ollamaの/api/embedエンドポイントにはtruncateパラメータがあり、デフォルト値はtrueです。モデルのコンテキストウィンドウを超える入力は、エラーを出さずに切り詰められます。mxbai-embed-large（Ollamaでは512トークン）の場合、700トークンのチャンクは末尾が欠けたままインデックス化され、誰もそれに気づきません。Ollamaでのコンテキスト長は、元のモデルの仕様と異なる場合もあります。nomic-embed-textでは2Kで、Nomicが公表する8,192トークンとは異なります。テスト中はtruncateをfalseに設定してください。テキストが切り詰められるより、エラーが出るほうがよいからです。

#次元、ストレージ、インデックスの制限

ストレージ容量は単純に計算できます：チャンク数 × 次元数 × float32 の 4 バイト（インデックスを除く）。100 万チャンクの場合、ベクトルのみで占める容量は以下の通りです：

データベースにも上限があります。pgvector のインデックスで扱えるベクトルは最大 2,000 次元、半精度（halfvec）では 4,000 次元です。Qwen3-Embedding-8B の 4,096 次元は、この上限さえ超えています。対策は、ベクトルの次元を切り詰めてから再正規化することです。Matryoshka 方式で学習したモデル（Qwen3-Embedding、EmbeddingGemma、nomic v1.5）なら切り詰めが可能で、Google も EmbeddingGemma について再正規化を行うよう明記しています。Ollama の /api/embed API は dimensions パラメータを受け付けますが、使用はこれらのモデルに限定してください。

#バージョン管理と再インデックス

保存すべきメタデータ

モデルの正確な名前、リビジョン、次元数、プレフィックスのテンプレート、チャンク分割のパラメータ、インデックス作成日。これらがなければ、検索結果がなぜ変わったのか誰にも分かりません。

モデルの変更

コーパス全体を新しいコレクションに再エンコードし、評価してから切り替えてください。2つのモデルを同じコレクションに混ぜることは絶対に避けてください。

正規化

OllamaはL2正規化されたベクトルを返します。どこでも同じ類似度指標（コサイン類似度または内積）を使用してください。

#モデルを実際に使い、自分の文書でテストする

ollama pull bge-m3

curl http://localhost:11434/api/embed -d '{
  "model": "bge-m3",
  "input": "Le contrat débute le 1er mai."
}'

import numpy as np
import ollama

textes = [
    "Le contrat débute le 1er mai.",
    "Date de début : 01/05.",
    "La voiture est rouge.",
]
vecteurs = np.array(ollama.embed(model="bge-m3", input=textes)["embeddings"])

# Les vecteurs d'Ollama sont normalisés : le produit scalaire vaut le cosinus
print(vecteurs[0] @ vecteurs[1])
print(vecteurs[0] @ vecteurs[2])

2つのスコアの順序だけ覚えておいてください。最初のスコアは2番目のスコアを明確に上回っている必要があります。2つか3つの候補を真剣に比較するには、以下の手順が公開されているすべてのランキングに代わります。

1. 01
   実際のテストデータセットを構築する

   実際のユーザーから寄せられた質問（サポートへの問い合わせ、チケット、よくある質問）を50〜100件集め、それぞれについて回答が含まれるチャンクを記録してください。LLMが作り出した質問を使うと、評価結果が実際より良く見えてしまいます。
2. 02
   各候補モデルでエンコードします

   プレフィックスの一覧表に従って、まずチャンクを、次に質問をエンコードしてください。すべての候補で、チャンクの長さと保存するベクトルの次元数を同じにしてください。
3. 03
   recall@5を測定する

   各質問について、正しいチャンクが上位5件の結果に含まれているか確認してください。以下のスクリプトはこの計算を行います。
4. 04
   コスト基準で判断する

   recall@5 が最良の結果から1〜2ポイント以内の最も軽量なモデルを選択してください。8倍大きいモデルは、再インデックス作成のたびにストレージと時間のコストがかかります。

import numpy as np
from sentence_transformers import SentenceTransformer

modele = SentenceTransformer("BAAI/bge-m3")

chunks = [...]      # vos chunks (liste de textes)
questions = [...]   # 50 à 100 vraies questions
cible = [...]       # pour chaque question, l'index du bon chunk

C = modele.encode(chunks, normalize_embeddings=True)
Q = modele.encode(questions, normalize_embeddings=True)

top5 = np.argsort(-(Q @ C.T), axis=1)[:, :5]
recall5 = np.mean([cible[i] in top5[i] for i in range(len(questions))])
print(f"recall@5 = {recall5:.0%}")

• Sentence Transformers：ローカルでの埋め込み（Embeddings）
• チャンク分割の戦略：チャンクサイズとモデルのコンテキストの関係
• BM25とベクトル検索を組み合わせたハイブリッド検索
• ファインチューニング前に reranker を追加する
• pgvector : 次元の制限とインデックス
• Ragas：RAGを数値で評価する

• 出典：BGE-M3の公式モデルカード（BAAI）
• ソース：Ciancone 他、2024年のMTEB-French研究
• ソース：Ollama のエンベディングドキュメント
• 出典：Qwen3-Embeddingのモデルカード
• 出典：EmbeddingGemma（Google）のモデルカード