微软发布 Phi-3.5 系列模型：性能超越同类机型

今天，微软宣布推出 Phi-3.5 系列模型，包括 Phi-3.5-vision、Phi-3.5-MoE 和 Phi-3.5-mini。这些轻量级模型基于合成数据和经过筛选的公开网站构建，支持 128K 标记上下文长度。所有模型现在都可以在 Hugging Face 上以 MIT 许可使用。

Phi-3.5-MoE：专家混合的突破

Phi-3.5-MoE 是 Phi 系列中首个采用专家混合（MoE）技术的型号。这个 16 x 3.8B MoE 模型使用 2 个专家仅激活了 6.6B 参数，并使用 512 个 H100 在 4.9T 标记上进行了训练。微软研究团队从零开始设计该模型，以提高其性能。在标准人工智能基准测试中，Phi-3.5-MoE 的性能超过了 Llama-3.1 8B、Gemma-2-9B 和 Gemini-1.5-Flash，并接近目前的领先者 GPT-4o-mini。

Phi-3.5-mini：重量轻、功能强

Phi-3.5-mini 是一个 3.8B 参数模型，超越了 Llama3.1 8B 和 Mistral 7B，甚至可与 Mistral NeMo 12B 相媲美。它使用 512 个 H100 在 3.4T 标记上进行了训练。与拥有更多有效参数的 LLM 相比，该模型仅有 3.8B 个有效参数，在多语言任务中具有很强的竞争力。此外，Phi-3.5-mini 现在支持 128K 上下文长度，而其主要竞争对手 Gemma-2 系列仅支持 8K。

Phi-3.5-vision 增强的多帧图像理解能力

Phi-3.5-vision 是一个 4.2B 参数模型，使用 256 个 A100 GPU 在 500B 标记上进行训练。该模型现在支持多帧图像理解和推理。Phi-3.5-vision 在 MMMU（从 40.2 提高到 43.0）、MMBench（从 80.5 提高到 81.9）和文档理解基准 TextVQA（从 70.9 提高到 72.0）上的性能均有提高。

• Phi-3.5-MoE-instruct
• Phi-3.5-mini-instruct
• Phi-3.5-vision-instruct

预计微软将在今天晚些时候分享有关Phi-3.5系列模型的更多细节。微软发布的Phi-3.5展示了在人工智能模型效率和功能方面的进步。Phi-3.5 系列模型注重轻量级设计和多模式理解，可能会在各种人工智能应用中得到更广泛的采用。