1. はじめに

Microsoft の Phi-3 ファミリーは、小規模言語モデル（SLM）の分野で最も高性能かつコスト効率の高いモデル群です。言語、推論、コーディング、数学の様々なベンチマークにおいて、同サイズおよび大型モデルを上回る性能を示しています。2024年4月の初期リリース以降、顧客やコミュニティからのフィードバックを反映し、Phi-3.5-mini、Phi-3.5-vision、そして新たにPhi-3.5-MoEが開発されました。

2. Phi-3.5シリーズの概要

2.1 Phi-3.5-MoEの概要

概要

• 16のエキスパートモデルで構成（各3.8Bパラメータ）
• 総モデルサイズ：42Bパラメータ
• アクティブパラメータ：6.6B（2つのエキスパート使用時）
• 20言語以上をサポート
• コンテキスト長：128K

学習プロセス

• 安全性に関する堅牢な後処理戦略を採用
• オープンソースおよび独自の合成指示・選好データセットを使用
• 教師あり微調整（SFT）と直接選好最適化（DPO）を組み合わせ
• 有用性、無害性、および複数の安全性カテゴリーに焦点を当てたデータセットを使用

性能

• 同サイズの密モデルを品質と性能の両面で上回る
• 言語理解と数学において、はるかに大きなモデルと同等のレベルを達成
• 推論能力では、より大きなモデルを上回る

多言語能力

• 多言語MMLU、MEGA、多言語MMLU-proデータセットで競争力のある性能を示す
• 6.6Bのアクティブパラメータでも、はるかに大きなアクティブパラメータを持つモデルと比較して非常に競争力がある

2.2 Phi-3.5-visionの概要

概要

• マルチフレーム画像理解と推論のための最先端の機能を導入
• 詳細な画像比較、複数画像の要約/ストーリーテリング、ビデオ要約などが可能

性能向上

• MMMU：40.4から43.0へ
• MMBench：80.5から81.9へ
• TextVQA（文書理解ベンチマーク）：70.9から72.0へ

主な機能

• 複数のスライドの要約
• 画像比較
• マルチフレーム画像理解

注意点

• 多言語ユースケースに最適化されていないため、さらなる微調整なしでの多言語シナリオでの使用は推奨されない

安全性

• Microsoft Responsible AI Standardに基づいて開発
• 多面的な安全性評価と後処理アプローチを採用
• 多言語機能を考慮した追加措置を実施
• 複数の言語とリスクカテゴリーにわたるテストを含む

最適化とデプロイメント

• ONNX Runtimeを使用して様々なハードウェアターゲットで最適化可能
• Azure AI StudioでのPhi-3.5-miniサーバーレスエンドポイントにGuidanceを導入
• Guidanceにより、出力の予測可能性が向上し、コストとレイテンシーを30-50%削減

3. モデル性能比較

3.1 Phi-3.5-MoE 性能評価

Phi-3.5-MoEの性能評価：

• MMLU: 0.789のスコアは、Gemini 1.5 Flashと同等の性能を示しており、大規模モデルに迫る言語理解能力を持っています。
• HumanEval: 70.7のスコアは、コーディング能力が高いことを示しています。Gemini 1.5 Flashに近い性能です。
• 正規化平均スコア: 82は、はるかに大きなモデルと比較しても競争力のある性能を示しています。

特筆すべき点：

1. パラメータ効率: 6.6Bのアクティブパラメータで、100B以上のモデルに匹敵する性能を発揮しています。
2. 多言語能力: 20言語以上をサポートしており、多言語タスクでも高い性能を示しています。
3. 長文脈処理: 128Kのコンテキスト長をサポートし、長文書の処理に適しています。

3.1 Phi-3.5-vision 性能評価

注:

1. "-" はデータが提供されていないことを示します。
2. BLINK Tasks と VideoMME の平均スコアは、Phi-3.5-vision に特化したベンチマークであるため、他のモデルのデータが不足しています。
3. Phi-3-vision（前バージョン）のデータは、比較可能な項目のみ記載しています。

分析

1. MMMU (val):
• Phi-3.5-vision は 43.0 で、前バージョンから大幅に改善しています。
• ただし、GPT-4o や Gemini 1.5 Pro などの大規模モデルにはまだ及びません。
2. MMBench (dev-en):
• 81.9 のスコアは競争力があり、Claude 3.5 Sonnet を上回っています。
• Gemini 1.5 Pro や InternVL 2 モデルには若干劣りますが、非常に近い性能です。
3. ScienceQA (img-test):
• 91.3 という高スコアは、このタスクでの Phi-3.5-vision の優れた能力を示しています。
• InternVL 2 モデルに次ぐ高スコアで、他の大規模モデルを上回っています。
4. ChartQA (test):
• 81.8 のスコアは非常に高く、比較対象のモデルの中でトップです。
• これは、グラフやチャートの理解において Phi-3.5-vision が特に強いことを示しています。
5. TextVQA (val):
• 72.0 のスコアは、前バージョンから改善しており、多くの大規模モデルと競争力があります。
• GPT-4o には及びませんが、Gemini 1.5 Pro を上回っています。
6. POPE (test):
• 86.1 のスコアは非常に高く、多くの大規模モデルと同等以上の性能を示しています。
7. BLINK Tasks と VideoMME:
• これらの新しいベンチマークでの性能は、Phi-3.5-vision のマルチフレーム画像理解とビデオ解析能力を示しています。
• 他のモデルとの直接比較はできませんが、これらの複雑なタスクでの性能は注目に値します。

4. コスト効率性

後日掲載予定

5. 処理速度と応答性

後日掲載予定

結論

Phi-3.5-MoEとPhi-3.5-visionは、Microsoft のPhi-3 ファミリーの中核を成す高性能モデルです。Phi-3.5-MoEは、小さなエキスパートを組み合わせることで高品質な性能と低レイテンシーを実現し、多言語サポートと強力な安全対策を備えています。一方、Phi-3.5-visionは、マルチフレーム画像理解と推論の分野で大きな進歩を遂げ、単一画像ベンチマークの性能も向上させました。

これらのモデルは、オープンソースコミュニティとAzure顧客に対して、コスト効率が高く高性能な選択肢を提供し、小規模言語モデルと生成AIの境界を押し広げています。