去年，微软发布了配备专用神经处理单元 (NPU) 的 Copilot+ PC，其计算能力超过 40 TOPS。这些 Copilot+ PC 配备了Phi-Silica，这是一款设备内置的语言语言管理器 (SLM)，旨在为微软自有的第一方应用以及其他第三方开发者的应用带来语言智能功能。
今天，微软发布了Mu，这是 Windows 11 内置的全新设备端小型语言模型。微软的目标是在“设置”应用中创建一个 AI 驱动的代理，能够理解用户的自然语言查询，并将其集成到现有的搜索框中，从而带来流畅的用户体验。因此，微软正在使用新的 Mu 模型来支持“设置”应用中的新代理功能，该功能最近已通过 Copilot+ PC在 Dev 通道中向 Windows Insiders开放。
与 Phi-Silica 一样，Mu 的设计旨在在 NPU 上高效运行，在本地运行时每秒可交付超过 100 个令牌。微软在官方博客文章中解释了他们如何设计和训练 Mu 语言模型。以下是 Mu 语言模型的概述：
Mu 是一个 330M 编码器-解码器语言模型。
与类似大小的仅解码器模型相比，编码器-解码器方法实现了第一个令牌延迟降低约 47%，解码速度提高 4.7 倍。
Mu 在某些组件中使用权重共享来减少总参数数量。
微软使用 Azure 机器学习上的 NVIDIA A100 GPU 训练 Mu。
Mu 的性能几乎可以与同样经过精细调整的 Phi-3.5-mini 相媲美，尽管尺寸只有后者的十分之一。
该模型更适合多词查询。因此，对于简短或部分单词的输入，“设置”应用将继续在搜索框中显示词汇和语义搜索结果。
感兴趣的用户可以下载 Windows 11 Build 26120.3964（KB5058496）或更高版本，以在 Windows 设置应用中查看这个新的 AI 代理。