Yi Coder 9B Chat

01できること

05インストール

インストール Ollama お使いのOS向け。ダウンロード前にモデルと量子化を確認してください。まずはコンテキストを4096トークンに設定し、その後、ollama ps でモデルの配置先を確認してください。以下にコマンドが記載されていることは、お使いのマシンでテストが実行された証拠にはなりません。

02必要なメモリ

このモデルを動作させるためのGPU VRAMの概算値（4kトークンのコンテキストオーバーヘッドを含む）。より長いコンテキストが必要な場合は、8kトークンごとに約1 GBを追加してください。

Yi Coder 9B Chatに必要なハードウェアは？

Yi Coder 9B ChatをQ4量子化でローカル実行するには、VRAM 5.5 GB程度が必要です。比較候補：RTX 5060 Ti 16GB (ASUS Prime) — システムとコンテキスト用のメモリに余裕を持たせ、推論エンジンがGPUに対応していることを確認してください。

外出先では： Yi Coder 9B Chat 〜でも動作します RTX搭載ノートPC (16 GBのVRAM) →

03予想速度

Q4_K_M、コンテキスト 4k での毎秒生成トークン数。 20 t/sを超えると快適に読めます。 10 t/s未満では、試用にとどまります。

04パブリックベンチマーク

スコアはモデルカード、またはMMLU-Pro／コミュニティの資料から転載したものです。単位：正答率（%）。