TPU是Google专属用于其数据中心业务的,可以先忽略,其实它也术语一种NPU。CPU可以说是个人电脑、服务器、笔记本、手机最核心的物理组件,GPU则是AI时代的“CPU”,用于加速深度学习应用,那么一个问题来了,享用 AI 只能通过云端的 GPU 运算吗?能不能在本地也能加速 AI 模型呢?这就要说到 NPU 神经网络处理器(Neural-network Processing Unit)。
和CPU与GPU不同的是,NPU专门用于加速AI推理任务(比如由标量、向量和张量数学组成的神经网络层),尤其是手机终端设备,可以把它想象成GPU,核心特点有两点:
-
并行处理能力强
-
近存储计算或存储内计算,实现存储和计算的一体化
NPU 和 GPU 的区别
-
GPUs更适合通用计算,NPUs是专门为AI和机器学习任务设计的专用处理器,去除了一些多余的功能。
-
GPUs虽然并行能力更强,但功耗很大,而NPU由于其设计的原因,性能效率更好,适合终端设备。
CPU、GPU、NPU各有所长,并且相辅相成。对于设备端的AI电脑、AI手机芯片,通常通过将三者整合为系统级芯片(SoC)的方式,提高能源效率和性能。
在去年英特尔发表的Core Ultra 芯片(代号“Meteor Lake”)首次将 NPU 整合到系统级芯片中,提出了 AI PC 的概念。
那如何衡量一台电脑符合 AI PC 概念呢?度量它的单位叫做 TOPS,和CPU与GPU衡量性能单位 TFLOPS 不一样,TOPS(Trillions of Operations Per Second)表示每秒兆次计算,目前如果一台电脑或笔记本,TOPS 达到 40+,就认为符合 AI PC 标准。