英特尔将其 Python NPU 加速库开源

2024年03月02日 01:56 次阅读 稿源:cnBeta.COM 条评论

英特尔已将其 NPU 加速库(intel-npu-acceleration-library)开源,作为 Windows 和 Linux 系统的用户空间库,用于与其新款 Meteor Lake 笔记本电脑上的神经处理单元(NPU)接口。

image.webp

英特尔长期以来一直在开发 iVPU Linux 内核驱动程序,该驱动程序位于内核上游,用于从 Meteor Lake 开始支持英特尔 NPU(以前称为 VPU)。这个 NPU 加速库是一个方便的 Python 库,可以充分利用 NPU 的潜力。

英特尔神经处理单元库支持 8 位量化、Float16 支持、torch.compile 支持、静态形状推理和其他功能。

GHlvWhCXAAA5xIs.jpegGHlvxgtWAAAJsS5.png

NPU 加速库可从 GitHub 下载,也可通过 PIP 方便地安装:

https://github.com/intel/intel-npu-acceleration-library

英特尔 NPU 加速库 GitHub 页面上的 Python 代码示例展示了在 NPU 上进行单矩阵乘法运算、为 NPU 编译模型,甚至在 NPU 上运行 Tiny-Llama 模型。随着人工智能时代的到来以及 NPU 在更多英特尔处理器上的应用,这个库将变得越来越重要。

对文章打分

英特尔将其 Python NPU 加速库开源

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan