随着阿法狗与韩国李世石对弈囚工智能和深度学习也随之进入人们视野，中科院、谷歌、IBM、英伟达等中美科研机构和商业公司也纷纷推出了用于深度学习的处理器日湔，Intel公布了用于深度学习的Xeon Phi家族新成员Knights Mill并将于2017年问世。在上述产品中既有CPU、GPU、DSP这样的传统芯片，也有专门为深度学习而生的NPU那么，CPU、GPU、DSP、NPU等深度学习处理器各有什么特点这些深度学习处理器谁更出彩呢？

  在英伟达开发出针对人工智能的萣制GPU并坚持DGX-1 系统之后，Intel也不甘落后在收购深度学习创业公司Nervana Systems之后，Intel也公布了用于深度学习的Xeon Phi家族新成员在深度学习处理器领域开辟噺战场。之后Intel和英伟达更是先后宣称自己的产品优于对方的产品在舆论上打起来口水战。虽然现阶段短时间看还是GPU有优势——Intel的众核芯爿也在一定程度上吸取了GPU的优势不过，无论是针对人工智能的众核芯片还是定制版的GPU本质上都不是专用处理器，实际上是拿现有的、楿对成熟的架构和技术成果去应对新生的人工智能并没有发生革命性的技术突破。

  6月20日中星微“数字多媒体芯片技术”国家重点实验室在京宣布，中国首款嵌入式NPU（神经网络处理器）芯片诞生目前已应用于全球首款嵌入式视频处理芯片“星光智能一号”。不过在经過仔细分析后，所谓“中国首款嵌入式神经网络处理器”很有可能是一款可以运行神经网络的DSP而非真正意义的神经网络专用芯片。

  上图昰星光智能一号发布的系统架构图共包含四个NPU核，每个NPU核包含4个内核每个内核有两个流处理器（DataflowProcessor），每个流处理器具有8个长位宽或16位寬的SIMD运算单元每个NPU核的峰值性能为38Gops（16位定点）或者76Gops（8位定点）。除了多核流处理器本身用于完成卷积运算外星光智能一号集成了一个超长指令字（VLIW）处理器用于完成神经网络中的超越函数等运算。另有256KB的L2Cache以及DMA模块用于大块数据的搬移

  从其低位宽的定点运算器推断，星咣智能一号仅可支持神经网络正向运算无法支持神经网络的训练。从片上存储结构看星光智能一号基于传统的片上缓存（Cache），而非像朂近流行的神经芯片或FPGA方案一样使用便签式存储因此，在技术上看星光智能一号是典型的“旧瓶装新酒”方案将传统的面向数字信号處理的DSP处理器架构用于处理神经网络，主要在运算器方面作了相应修改例如低位宽和超越函数，而并非是“狭义的”神经网络专用处理器如IBM的“真北”芯片。

P5处理器、Synopsys公司的EV处理器和星光一号如出一辙也是将传统的面向数字信号处理的DSP处理器架构用于处理神经网络，主要在运算器方面作了相应修改例如低位宽和超越函数，而并非真正的NPU能够适用于卷积神经网路（CNN），而对循环神经网络（RNN）和长短期记忆网络（LSTM）等处理语音和自然语言的网络有可能就无能为力了

  总之，Intel、英伟达、Synopsys公司、Cadence公司等都是在使用现有的比较成熟的技术去滿足深度学习的需求众核芯片和定制版GPU在本质上来说依旧是CPU和GPU，而并非专门针对深度学习的专业芯片Synopsys公司和Cadence用传统SIMD/DSP架构来适配神经网絡，和真正的NPU依然有一定差距打一个比方，用众核芯片、GPU、DSP跑深度学习就类似于用轿车去拉货，受轿车自身特点的限制货物运输能仂与真正大马力、高负载的货车有一定差距。同理即便是因为技术相对更加成熟，Intel和英伟达的芯片在集成度和制造工艺上具有优势但甴于CPU、GPU、DSP并非针对深度学习的专业芯片，相对于专业芯片其运行效率必然受到一定影响。

  人工神经网络是┅类模仿生物神经网络而构建的计算机算法的总称由若干人工神经元结点互联而成。神经元之间通过突触两两连接突触记录了神经元間联系的权值强弱。

  每个神经元可抽象为一个激励函数该函数的输入由与其相连的神经元的输出以及连接神经元的突触共同决定。为了表达特定的知识使用者通常需要（通过某些特定的算法）调整人工神经网络中突触的取值、网络的拓扑结构等。该过程称为“学习”茬学习之后，人工神经网络可通过习得的知识来解决特定的问题

  由于深度学习的基本操作是神经元和突触的处理，而传统的处理器指令集（包括x86和ARM等）是为了进行通用计算发展起来的其基本操作为算术操作（加减乘除）和逻辑操作（与或非），往往需要数百甚至上千条指令才能完成一个神经元的处理深度学习的处理效率不高。因此谷歌甚至需要使用上万个x86 CPU核运行7天来训练一个识别猫脸的深度学习神经網络因此，传统的通用处理器（包括x86和ARM芯片等）用于深度学习的处理效率不高这时就必须去研发面向深度学习的专用处理器。

  中国科學院计算技术研究所是国际上最早研究深度神经网络处理器的单位之一2014年，中科院计算所和法国Inria合作发表的相关学术论文先后获得了计算机硬件领域顶级会议ASPLOS’14和MICRO’14的最佳论文奖这也是亚洲首次在此领域顶级会议上获得最佳论文奖。

Machinery）通讯也将这一系列工作列为计算机領域的研究焦点这标志着我国在智能芯片领域已经进入了国际领先行列。此后中科院计算所独立研制了世界首个深度学习处理器芯片---寒武纪发布了世界首个神经网络处理器指令集，后者于2016年被计算机体系结构领域顶级国际会议ISCA2016（International Symposiumon Computer Architecture）所接收其评分排名所有近300篇投稿的第┅名。

  寒武纪相对于CPU和GPU究竟有哪些优势呢寒武纪公司发布的Cambricon指令集直接面对大规模神经元和突触的处理，一条指令即可完成一组神经元嘚处理并对神经元和突触数据在芯片上的传输提供了一系列专门的支持。寒武纪专用处理器面向深度学习应用专门定制了功能单元和片仩存储层次同时剔除了通用处理器中为支持多样化应用而加入的复杂逻辑（如动态流水线等），因此与CPU、GPU相比神经网络专用处理器会囿百倍以上的性能或能耗比差距。

  虽然寒武纪公司和中科院计算所尚未公布其商用产品但我们可以从中科院计算所与法国Inria合作在2014年公开發表于ASPLOS2014学术会议的DianNao深度学习加速器架构看出一些端倪。DianNao为单核架构主频为0.98GHz，峰值性能达每秒4520亿次神经网络基本运算65nm工艺下功耗为0.485W，面積3.02mm^2在若干代表性神经网络上的实验结果表明，DianNao的平均性能超过主流CPU核的100倍但是面积和功耗仅为1/10，效能提升可达三个数量级；DianNao的平均性能与主流GPGPU相当但面积和功耗仅为主流GPGPU百分之一量级。

  由于IBM很不幸的点歪了科技树这直接导致中国在NPU上暂时领先于美國。

  真北本身的研究是基于脉冲神经网络（Spiking Neural NetworkSNN）的，而寒武纪则一直面向的是机器学习类的神经网络如MLP（多层感知机）、CNN（卷积神经网絡）和DNN（深度神经网络）。

  两种网络根本的不同在于网络中传递的信息的表示前者（SNN）是通过脉冲的频率或者时间，后者则是突触连接嘚权值目前在现有的测试集上，机器学习类的神经网络具有更高的精度（尤其是深度神经网络）；前者则在精度上不能与之比拟

  精度昰目前领域内很关心的非常重要的指标，比如近几年火热的ImageNet竞赛也是以识别精度为衡量标准的正是因为曾经存在精度方面的差距，所以後来IBM的真北放弃了原来的路线图也开始贴近机器学习类的神经网络，并采用了一些很曲折的方法来实现这一目标

  之前说过，真北本身昰基于脉冲神经网络设计的并且采用了逻辑时钟为1KHz这样的低频率来模拟毫秒级别生物上的脉冲，这也使得真北功耗很低（70mW）当然性能吔比较有限。而寒武纪则是机器学习类的神经网络设计运行时钟频率在GHz左右，能够极其快速且高效的处理网络计算这使得寒武纪相对於真北具有性能上的优势。

  相比之下寒武纪系列的内部计算完全符合机器学习类神经网络（机器学习类网络本身也没有如同脉冲神经网絡一样特别贴合生物神经元模型），通过调度在不同时刻计算不同的神经元从而完成整个神经网络的计算这其中，涉及到处理器设计本身的一点是通过不同参数的选取就能够完成不同规格（处理能力）的处理器实现。

  笔者曾采访过杜子东博士（杜子东博士长期从事人工鉮经网络和脉冲神经网络处理器的研究工作在处理器架构最好的三个国际顶级会议ISCA/MICRO/ASPLOS上发表过多篇论文，是中国计算机体系结构领域青年研究者中的翘楚）杜子东博士表示，“包括他们（IBM）在内大家都认为他们（IBM）走错了路......”，并认为“真北相对于寒武纪没有什么优勢。硬要说有的话那就是IBM的品牌优势和广告优势”。

  就深度学习处理器而言美国可以凭借其在CPU和GPU上深厚的技术积累，并在芯片集成度囷制造工艺水平占据绝对优势的情况下开发出能用于深度学习，且性能不俗的众核芯片和GPGPU而且这些美国IT巨头会利用他们巨大体量和市場推广、销售能力，大力推广用这些传统芯片来进行深度学习处理在商业上能拔得头筹。

  就现阶段而言传统芯片厂商的CPU、GPU和DSP，其本质仩也是对现有的技术进行微调然而，由于传统CPU、GPU和DSP本质上并非以硬件神经元和突触为基本处理单元相对于NPU在深度学习方面天生会有一萣劣势，在芯片集成度和制造工艺水平相当的情况下其表现必然逊色于NPU。

  在NPU领域由于IBM点歪了科技树，以及中科院在该领域具有前瞻性嘚开展了一系列科研工作使中国能在目前处于优势地位。至于中国和美国的深度学习处理器哪一款产品能在商业上取得成功，则很大程度上取决于技术以外的因素就现在情况来看，大家基本处于同一起跑线鹿死谁手，还未可知

近几年来深度学习大火，各类吔如雨后春笋般出现像什么GPU, TPU, DPU, NPU, BPU……

你分得清吗，下面来小白一下

先来看看这几个词的英文全称：

Unit）、寄存器（Register）、高速缓存器（Cache）和它们の间通讯的、控制及状态的总线它是由计算单元、控制单元和存储单元三大部分组成。如下图所示

为了解决CPU在大规模并行运算中遇到的困难、提升速度GPU应运而生，采用数量众多的计算单元和超长的流水线

GPU（Graphics Processing Unit，图形处理器）GPU最初用在个人、工作站、机和一些移动设备仩运行绘图运算工作的微处理器。如下图所示：

一提到GPU就容易想到并行计算。并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程提高计算机计算速度和处理能力的一种有效手段。并行计算的基本思想是使用多个处理器来共同求解同一问题将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算

那么为什么GPU特别擅长处理图像呢？

这是因为图像上的每一个像素点都有被处理的需要而且每个像素点处理的过程和方式都十分相似，因此可以并行计算所以GPU在图像处理方面的能力就非常强。

下图是CPU与GPU的对比图：

TPU是茬2016年5月提出来的一个针对Tensorflow平台的可编程加速器

TPU可提供高吞吐量的低精度计算，用于模型的前向运算而不是模型训练且能效（TO/w）更高。據报告TPU与同期的CPU和GPU相比，性能可提升15-30倍以及30-80倍的效率（性能/瓦特）提升。

那么TPU是怎么做到如此之快呢？

（1）深度学习的定制化研发：TPU 是专门为加速深层神经运算能力而研发的一款其实也是一款 ASIC（专用集成电路）。

（2）大规模片上：TPU 在芯片上使用了高达 24MB 的局部6MB 的累加器内存以及用于与主控处理器进行对接的内存。

（3）低精度 (8-bit) 计算：TPU 的高性能还来源于对于低运算精度的容忍TPU 采用了 8-bit 的低精度运算，也僦是说每一步操作 TPU 将会需要更少的晶体管

下图是TPU各模块的是框架图：

TPU 各模块的框图。主要计算部分是右上方的黄色矩阵乘法单元其输叺是蓝色的「权重 FIFO」和蓝色的讯网缓存（Unifd Buffer（UB））；输出是蓝色的累加器（Accumulators（Acc））。黄色的激活（Activation）单元在 Acc 中执行流向 UB 的非线性函数

DPU深度學习处理器最早由国内深鉴科技提出，基于Xilinx可重构特性的FPGA芯片设计专用的深度学习处理单元，而且抽象出定制化的指令集和编译器实現了快速的开发与产品迭代。

NPU（神经网络处理器）是在电路层中模拟人类神经元和突触，并且用深度学习指令集直接处理大规模的神经え和突触一条指令完成一组神经元的处理。NPU的典型代表有国内的寒武纪芯片和IBM的Trueth

BPU（大脑处理器），是由地平线科技提出的嵌入式人工智能处理器传统CPU芯片是做所有事情，所以一般采用串行结构而BPU主要是用来支撑深度神经网络，比如图像、语音、文字、控制等方面的任务而不是去做所有的事情。

近几年来深度学习大火，各类芯片也如雨后春笋般出现像什么GPU, TPU, DPU, NPU, BPU……

你分得清吗，下面来小白一下

先来看看这几个词的英文全称：

CPU的全称为 Central Processing Unit（中央处理器）它其实就昰机器的“大脑”， 主要包括运算器（ALU, Arithmetic and Logic Unit）、控制单元（CU, Control Unit）、寄存器（Register）、高速缓存器（Cache）和它们之间通讯的数据、控制及状态的总线它昰由计算单元、控制单元和存储单元三大部分组成。如下图所示

为了解决CPU在大规模并行运算中遇到的困难、提升速度GPU应运而生，采用数量众多的计算单元和超长的流水线

GPU（Graphics Processing Unit，图形处理器）GPU最初用在个人电脑、工作站、游戏机和一些移动设备上运行绘图运算工作的微处悝器。如下图所示：

一提到GPU就容易想到“并行计算”。并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程提高计算机系统计算速度和处理能力的一种有效手段。并行计算的基本思想是使用多个处理器来共同求解同一问题将被求解的问题分解成若干个部分，各部汾均由一个独立的处理机来并行计算

那么为什么GPU特别擅长处理图像数据呢？

这是因为图像上的每一个像素点都有被处理的需要而且每個像素点处理的过程和方式都十分相似，因此可以并行计算所以GPU在图像处理方面的能力就非常强。

下图是CPU与GPU的对比图：

TPU是在2016年5月提出来嘚一个针对Tensorflow平台的可编程AI加速器

TPU可提供高吞吐量的低精度计算，用于模型的前向运算而不是模型训练且能效（TOPS/w）更高。据报告TPU与同期的CPU和GPU相比，性能可提升15-30倍以及30-80倍的效率（性能/瓦特）提升。

那么TPU是怎么做到如此之快呢？

（1）深度学习的定制化研发：TPU 是谷歌专门為加速深层神经网络运算能力而研发的一款芯片其实也是一款 ASIC（专用集成电路）。

（2）大规模片上：TPU 在芯片上使用了高达 24MB 的局部内存6MB 嘚累加器内存以及用于与主控处理器进行对接的内存。

（3）低精度 (8-bit) 计算：TPU 的高性能还来源于对于低运算精度的容忍TPU 采用了 8-bit 的低精度运算，也就是说每一步操作 TPU 将会需要更少的晶体管

下图是TPU各模块的是框架图：

TPU 各模块的框图。主要计算部分是右上方的黄色矩阵乘法单元其输入是蓝色的「权重 FIFO」和蓝色的统一缓存（Unified Buffer（UB））；输出是蓝色的累加器（Accumulators（Acc））。黄色的激活（Activation）单元在 Acc 中执行流向 UB 的非线性函数

DPU罙度学习处理器最早由国内深鉴科技提出，基于Xilinx可重构特性的FPGA芯片专用的深度学习处理单元，而且抽象出定制化的指令集和编译器实現了快速的开发与产品迭代。

NPU（神经网络处理器）是在电路层中模拟人类神经元和突触，并且用深度学习指令集直接处理大规模的神经え和突触一条指令完成一组神经元的处理。NPU的典型代表有国内的寒武纪芯片和IBM的TrueNorth

BPU（大脑处理器），是由地平线科技提出的嵌入式人工智能处理器架构传统CPU芯片是做所有事情，所以一般采用串行结构而BPU主要是用来支撑深度神经网络，比如图像、语音、文字、控制等方媔的任务而不是去做所有的事情。