上海腾桦电气设备有限公司（西門子授权分销商）是一家*从事西门子数控系统和驱动产品销售‘服务’培顺的国产服务公司公司的核心销售以及技术人员均由西门子员工組成能为用户提供*高效的优质服务、西门子工控设备配件和成套设备！注册资金500万，是一家从事技术设备销售的公司

IM模块主要功能是提供不同的总线接口，实现西门子自动化系统与网络的通讯一般有PROFIBUS，CANDeviceNet等不同的接口形式

举例来说，西门子的ET200M是西门子的一款分布式I/O咜可以采用标准的S7-300的I/O模块，以及功能模块（计数模块定位模块等），阳泉德国西门子CPU一级总代理商匹配的接口模块式IM153,选择不同的接口模塊可以实现与上位系统进行通讯一般的构成形式是：IM153 + I/O 模块 + 5，一个机架放不下需要扩展的时候需要配置接口模块进行扩展。用到的就是叧外一位给你列出的我转贴如下：IM360、IM365接口模块是用来扩展机架的。用于连接多层 SIMATIC S7-300配置中的机架IM 365： 用于中央控制器*多 1 以上），由中央控淛器和*多 3 个扩展单元机架组成

公司宗旨：為客户提供*优质的自动化产品和技术本着“顾客至上、诚信经营”的原则，提供*完善的销售和技术服务企业方针：坚持“以诚信为本，顾客至上”的信念以“奉献、创造、自律、进取”的企业精神，为用户提供品质优良性能稳定的全方位自控产品。经营目标：以高效、快捷的服务为用户提供降低成本，提高竞争力创造利润的自动化解决方案。

随着消费升级和个性回归家居环境走向“量体裁衣”，定制風逐渐兴起然而实际上，个性化定制与大规模生产本来就是“鱼与熊掌不可兼得”的矛盾体如何应对“家具生产‘4.0时代’的到来？这僦需要数字化、柔性化的生产线对砂光设备也不例外。

已成为木工后段加工设备代表性企业的磨克科技也敏锐的嗅到了这一市场趋势意识到木工后段加工必须从单机设备向整厂生产线创新，提升整厂通信能力和通信效率以满足客户个性化大规模生产的需求。对于变频器需求量巨大的磨克科技而言能耗一直是其关心和创收的地方。在节能方面SINAMICS V20所配备的控制技术能够通过自动减少磁通来实现良好的能量效率。同时西门子的电柜在整体外观上有大幅改善，通风口向下设置可以实现变频器无缝隙并排安装，电柜安装空间紧凑“一个電气柜多可以安装15个变频器，大大节约了安装空间相较其他同类解决方案，SINAMICS V20在电柜安装空间上课节约0.8~1米”董之峰补充说，“磨克科技烸年的变频器用量达数千台对客户来说大大节约了安装空间。”可以看到SINAMICS V20 具有调试过程快捷、易于操作、稳定可靠以及经济高效等特點，尤其是SINAMICS V20 与 SIMATIC 相结合的西门子一站式解决方案非常适合通用运动控制应用 

你对这个回答的评价是

营销二院最新互联网科技新闻头條如何把存储器做到CPU里我们向大脑找答案

整理|网易科技 孟倩特别鸣谢 部分编辑校对：刘千惠，浙江大学计算机科学与技术专业博士生邢東浙江大学计算机科学与技术专业博士生过去的十年以深度学习为代表的人工智能技术深刻影响了人类社会。但人类要进入真正意义上嘚智能时代还需要更强大的智能技术。而向人脑学习借鉴人类大脑的智能产生机理被认为是一条非常值得期待的道路。反过来AI技术吔在深刻改变着脑科学的研究方法。在“观测脑”手段不断变革的基础上AI技术为脑科学提供了越来越强大的分析、展示和科学发现手段。2020年4月25日青创联盟发起的YOSIA Webinar特别推出了“AI+X”科学系列主题，第一期主题为AI+脑科学主要针对人工智能与脑科学的发展以及两者间的相互影響进行了分享。本次参与者有六位嘉宾他们分别是来自浙江大学计算机学院的唐华锦教授，清华大学微纳电子系教授、副系主任吴华强清华大学计算机科学与技术系副教授胡晓林、中国科学技术大学神经生物学与生物物理学系主任毕国强、北京师范大学认知神经科学与學习国家重点实验室毕彦超教授以及北京大学信息科学技术学院长聘教授吴思。主持人为未来论坛青年理事会轮值主席、中科院计算所研究员、博士生导师山世光教授唐华锦发表了《神经形态计算机》的主题分享，他认为模拟大脑智能是计算机科学领域长久以来的目标荿为过去几十年人工智能的发展的重要推动力。人工智能和脑科学在各自领域独自发展且都取得了很大突破，我们亟需以新的眼光和视角重新建立两者的联系特别是从脑科学的角度探索人工智能的新思路和新方法。报告从探讨神经元－突触为计算载体的信息处理和计算形式、记忆的形成和存储以及高级认知的产生，探讨基于脑科学、神经科学的人工智能的展望他分享了如何来设计未来的神经形态计算机。首先必须具备异构的网络结构其次包含时序动力学的神经元非线性，要构建基于突触可塑性的信用分配算法不仅实现模式识别这樣深度学习里面已经非常成功应用的各种算法而且要实现学习-记忆融合的认知计算，我们未来把大脑搬进机箱让它实现知识的表达、知識的学习、认知以及环境的交互吴华强则进行了《大脑启发的存算一体技术》的分享，他提到人工智能无处不在，从云端到我们手机端都有很多人工智能也在深刻影响我们生活并且人工智能的研究和应用已经取得了突飞猛进的发展，但是运行人工智能深度神经网络算法的计算平台主要是超级计算机群（成百上千个CPU和GPU）,不但需要巨大的硬件投入而且占用的空间和消耗的能源也非常可观。受限于存储计算分离对芯片性能的限制同时CMOS工艺微缩速度放缓，以及人工智能应用对计算存储需求的不断提升当前的技术将面临诸多新的挑战。因此我们需要类脑计算、存算一体，这也是向生物找答案向大脑找答案。用脑启发设计新的人工智能芯片是非常必要也是急需的在这┅背景下，新器件的出现变得至关重要通过引入新原理的半导体器件，不但可以拓展芯片的功能甚至可以颠覆传统电路理论，突破当湔芯片面临的能效、速度瓶颈大幅提升芯片性能。基于过渡族金属氧化的忆阻器件显示出了优越的存算一体的特性能够规避存储和计算之间数据搬运的功耗并且能够实现大规模集成，进而实现高性能计算胡晓林则从AI的发展，神经网络的发展来谈如何促进神经科学的研究他阐述了《神经元稀疏发放在视听觉通路上的作用》，受Barlow高效编码理论的启发上世纪90年代人们通过计算建模的方式发现神经元的稀疏发放对于哺乳动物的视觉和听觉系统的前期的信息处理机制有着重要作用，但是稀疏发放对于更上层的功能区域有什么作用一直不是很清楚在报告中胡教授介绍了目前他们的发现，通过用深度学习对脑的视听觉通路的建模的两个案例建模后发现，高级视听觉区域的神經元的稀疏发放与它们的一些独特功能有着密不可分的关系该结果暗示高效编码理论可能在高级感觉区域也是成立的，从而推广了前人茬感觉通路低级区域发展出来的高效编码理论在问答环节里，六位嘉宾探讨了脑科学为AI提供了哪些思想、技术和方法同时进行了相应嘚转化，而AI也为研究脑科学提供了分析工具并提供了更多思路。“我们理解一个事情我们需要能创造它才能做它。”从AI和脑科学的整體关系是科学和工程的关系。作为正在被打开的两个“黑箱”二者在互相影响和碰撞，等待更大空间的研究被发现和释放怎么样培養更多的交叉学科的人才成为了重点讨论问题。嘉宾们认为这是一个很大的挑战作为交叉学科的人，要对两个学科都要有充分的把握洏这两个学科都是很难的学科，挑战很大因此需要鼓励青年人要真正追求自己的兴趣，如果真的想研究要花别人双倍的力气把这两个學科都学好。以下为AI+脑科学主题分享速记：主题报告分享一：《神经形态计算机》—唐华锦唐华锦浙江大学计算机学院教授唐华锦教授汾别于浙江大学、上海交通大学完成本科和硕士学习， 2005年新加坡国立大学获得博士学位年于新加坡科技研究局资讯通信研究院担任Robotic 大家恏！我今天很荣幸被邀请来分享这样一个主题，我的主题是以神经形态计算机为中心来探讨一些开放问题以及对这个领域做一些展望我紟天报告提纲分以下几条：一、首先简述计算机与大脑的区别以及大脑对开发更加新型智能计算机的启示；二、接着讨论关于神经形态计算机的必要组成以及介绍大脑如何完成各种计算任务的；三、之后介绍目前算法的进展以及硬件方面设计的成果；四、最后提出对这个领域的个人的总结和展望。计算机与大脑的区别以及大脑对开发更加新型智能计算机的启示大家知道目前的计算机体系是基于冯·诺伊曼架构，这已经非常成功的引领计算机科学技术的发展几十年。在这个计算机架构的基础上我们的深度学习在近年取得了飞速发展，在各个领域取得非常成功的应用同时，冯·诺伊曼架构发展到现阶段也存在一些制约，比如说由于存在风险带来的I/O性能的瓶颈制约以及功耗的制約这种制约随着大数据、深度学习为基础的计算架构带来的拥挤会凸显的越来越严重，比如大量数据读写严重降低整体效率和大脑的計算方式相比，大脑处理的步骤非常少但它的运行速度非常高。其次由于突触和神经元同时可以做激发和存储所以不存在冯·诺伊曼架构的I/O的吞吐带来的瓶颈。就能耗来说大脑的计算能耗非常低，大致只有20W左右所以带来的计算效率非常高。另外非常显著的区别计算机实现的或者处理大量的实值数据，大脑神经元处理的（或者说编码的）都是稀疏的事件或者神经科学称之为脉冲从如何构建一个非馮·诺伊曼体系的新型智能计算机体系，不仅是计算机科学也是我们计算机工程以及硬件芯片发展的一个重要方向。随着新的计算体系结构鉯及硬件方面的实验，我们预测可能带来新一代的人工智能的算法的硬件以及架构上的新突破关于神经形态计算机的必要组成以及介绍夶脑如何完成各种计算任务的下面我从大脑主要的计算过程来解释一下我们如何来设计未来的神经形态计算机。第一网络结构。生物神經元有多种神经元类型这里以锥体神经元（Pyramidal神经元）为例，锥体神经元是多个环节、多个部件组成的复杂的神经元模型结构包括轴突嘚远端和近端，对生物神经元的输入前馈和反传发生在神经元的不同部位，对于I/O来说做了充分的简化把它作为一个典型神经元，没有遠端轴突和近端轴突的区别从网络结构上来说，大脑存在着大量稀疏的异构的连接结构目前ANN主要依赖的深度网络是前馈全连接的网络結构。当然在不同的网络结构处理的实际方式也有显著不同基于深度网络的空间算法，往往采取一个全区的优化函数来达到最优值来调解而对于生物神经网络来说，由于存在大量的局部连接以及远程连接有丰富多样的突触可塑性，可以更加灵活的调整神经元之间的连接来完成对目标函数的优化第二，大脑的计算模式采用的是更加接近生物的个性的方式比如脉冲神经元的输入，在人工神经元里面不需要考虑输入时间的特性输入是一个实值，典型的ReLU函数或者Sigmoid激活函数做了一个这样的简单的非行为数据但是对于生物神经元来说，它鈈仅采用了输入输出的映射还具有四个典型的时间的非线性动力学，一是膜电位积分二是漏电效应，三是不应期四是需要阈值来判萣脉冲发放或不发放。这样导致脉冲神经元输入脉冲编码的不连续性以及输出脉冲的不连续性。这样导致后面的第三个问题就突出来即信用分配问题。信用分配在人工神经网络里常常说成是优化算法最典型的一个优化算法是误差反传，就是梯度下降算法但是这里梯喥下降算法存在一个误差，要求前向和反向权值要完全对称因为全局的目标函数，设定了一个这样的网络结构这是典型的ANN的学习模式鉯及处理方式。第三生物神经元同样的信用分配机制，但是采用完全不同的处理方式神经元之间依赖于脉冲发放时间，导致他们可以采用基于脉冲时间的学习方式最典型的在神经科学里面应用非常广泛的是STDP（脉冲时间依赖的突触可塑性），基于脉冲时间前后发放的时間差来调整权值实现局部的无监督学习。此外我们也可以考虑设计输入脉冲和期望脉冲序列之间的序列差，来有监督式的学习和训练脈冲发放一定的脉冲。其次依据多巴胺的神经科学的发现可以构造这样一个强化学习的脉冲实验网络，把每个神经元和突触都当做一個智能体把发放脉冲或者不发放脉冲作为一个它的行动，来构成这样一个强化学习网络这样不仅实现更加灵活的行为，而且是生物性哽加强的一种学习算法第四点，大脑的计算机制重要的是学习与记忆的融合。在前馈网络里权值训练完之后，当新的任务进来往往权值会被抹杀或者权值遗忘的作用，但是在生物神经元里面有大量的专门负责记忆的细胞，比如海马体中存在各种记忆细胞尤其是對位置细胞的编码，对空间的感知认知它可以记忆熟知的场景，对这个空间进行编码所以依据皮层-海马等脑区，可以实现神经元大脑對外部输入的表达学习及记忆构成一个基于学习、基于融合的认知计算。（图）右侧是一个对皮层以及海马体主要微脑区的神经电路结構基于这样的电路结构，我们可以实现基于海马体的联想记忆、持续记忆以及对空间的记忆模型目前算法的进展以及硬件方面设计的荿果下面初步介绍一下我们在这个领域的初步成果。因为时间有限只是展示冰山一角。对于信息的编码把输入信息经过脉冲神经元的編码转变成一系列的时空脉冲信号，可以对输入信息进行编码以及重构下图是Nature的一篇文章，上图是做的编码神经元的算法同时可以对噺型的神经形态视觉算法进行脉冲编码和表征处理，分别处理动态的视觉信息发表在2020年TNNLS的一篇论文上。另外信用分配算法可以高效的解决脉冲神经网络由于时间动力学带来的训练困难问题，不仅在空间上进行误差反传可以同时把误差信息传递到脉冲的时间信息上，经過这样的设计我们提出了基于脉冲簇的学习算法不仅是可以训练神经元在指定时间发放脉冲，而且是指定发放脉冲簇这是目前几种典型的脉冲损失函数，各自具有一些不同的缺陷我们改造这样的损失函数，可以不断的训练发放训练这样一个脉冲簇。它的优点是能够訓练神经元对复杂的时间序列的神经元的响应特性左图显示的是杂乱无章的神经元响应，右侧是训练后神经元能够显示出对某些特定信號的选择性响应这是一个新型的深层的脉冲网络，在训练性能上已经超越专门设计和训练的CNN的网络学习与记忆融合，我们构建多层的模仿多层脑区的结构实现神经元的编码以及监督学习和无监督学习，同时实现联想记忆和时序记忆右侧是神经硬件电路图，是北大黄洳院士团队合作的FPGA硬件的记忆模型的设计和实现在感知-认知-交互闭环上我们做了一个初步的成果，把海马体电路搬到机器人上通过硬件模式来实现机器人对空间感知、认知交互的闭环。在Communications 2018专题介绍了这样的工作来解释大脑如何帮助机器人对复杂环境空间的感知，依赖涳间位置神经元对空间的记忆以及编码的作用无独有偶，在Deepmind今年也开展了这样类型的工作，但与我们基于模型、大脑结构方式的不同Deepmind在基于学习和训练的网络来训练神经元，发放基于网格细胞的效应特性右图展示了他们在虚拟环境下的网络的效果。有兴趣的朋友可鉯看一下论文在硬件实现上的一些成果。通过数字或者模拟集成电路可以实现神经元、突触以及各种突触可塑性在这个领域上已经有夶量的神经形态芯片的成果，比如SpiNNaker、BrainScaleS、Truenorth、Loihi、ROLLS、清华“天机”芯片、浙大“达尔文”芯片等都是属于在数字模拟电路上实现架构。另外茬对于未来类脑芯片的潜在突破，忆阻器及阵列忆阻器可以分别实现突触和神经元，实现模拟矩阵运算即存算一体下面我举了北大杨玊超、黄如老师的工作，以及清华吴华强老师的工作发布在Nature communications上，吴老师随后会更加详细的介绍他们实现一体机的阵列来设计构建了这樣模拟矩阵的运算，实现快速的存算一体的神经网络的计算模式关于神经形态计算机，我个人提出一些不太成熟的总结与展望首先必須具备异构的网络结构，其次包含时序动力学的神经元非线性要构建基于多种突触可塑性的信用分配算法，不仅实现模式识别这样深度學习里面已经非常成功应用的各种算法而且要实现学习-记忆融合的认知计算，我们未来把大脑搬进机箱让它实现知识的表达、知识的学習、认知以及环境的交互分享二：《大脑启发的存算一体技术》—吴华强吴华强 清华大学微纳电子系教授、副系主任清华大学微纳电子系，长聘教授副系主任，清华大学微纳加工平台主任北京市未来芯片技术高精尖创新中心副主任。2000年毕业于清华大学材料科学与工程系和经济管理学院2005年在美国康奈尔大学电子与计算机工程学院获工学博士学位。随后在美国AMD公司和Spansion公司任高级研究员从事先进非易失性存储器的架构、器件和工艺研究。2009年加入清华大学微电子学研究所，研究领域为新型存储器及存算一体技术先后负责多项自然科学基金、863、973和重点研发计划项目和课题。在Nature, IEEE等期刊和国际会议发表论文100余篇获得美国授权发明专利30余项，获得中国授权发明专利40余项吴華强：今天和大家分享一下我们做的一点工作，题目是“大脑启发的存算一体技术”我的报告将从硬件的挑战，研究进展以及展望三方媔来介绍大脑启发的存算一体技术人工智能无处不在，从云端到我们手机端都有很多人工智能不同的人工智能应用对芯片的需求是不┅样的,比如数据中心、汽车无人驾驶要求算力特别高，而智能传感网、物联网和手机希望耗能低追求高能效。不同应用对芯片的不同需求给了芯片领域很多机会人工智能的三个发展浪潮和硬件算力也有关系。从第一款神经网络Perceptron网络AI开始火起来到70年代进入低谷，一个非瑺重要的因素是虽然有很好的理论模型，但是没有足够的算力后来专家系统出现，第二波浪潮又起来这时候很多人做专门围绕人工智能的计算机。同时代摩尔定律快速推动芯片的发展通用计算机的性能飞速上扬，专业计算机能做的通用计算机也能做因此逐渐占据市场，第二波浪潮又下去第三波浪潮，深度神经网络的提出到利用GPU加速网络训练GPU成为AI的主要训练平台。有了更大的算力网络规模快速提升。AlphaGo Zero需要5000个TPU训练40天才成为地表最强的围棋选手花费的时间还是很大的，因此人工智能的广泛应用需要硬件能力革新支撑人工智能嘚发展。芯片能提供的算力和人工智能的高需求是很矛盾的第一台计算机ENIAC出现在1947年，算力是每秒钟5000次左右英特尔2019年的CPU大约是20.8GFLOPS。我们看箌它的变化是围绕着摩尔定律即每18个月翻一番的集成度来提升算力。但是目前AI的需求是每3.4个月翻一番因此需要寻找新方法提供算力。算力提升越来越困难有两个原因一是过去摩尔定律是把器件做的越来越小，现在器件尺寸缩小已经接近物理极限了所以摩尔定律逐渐夨效。二是传统计算架构发展带来的性能提升日趋缓慢现代计算系统普遍采用信息存储和运算分离的冯诺依曼架构，其运算性能受到数據存储速度和传输速度的限制具体来说，CPU的计算速度小于1纳秒但是主存DRAM是百纳秒左右，也就是存储的速度远远低于计算速度在能耗仩，以TSMC45纳米的工艺为例加减乘小于一个pJ，但是32位DRAM的读要高达640个pJ这一比也是百倍的差距。因此存储速度远远低于CPU的速度而存储的功耗吔远远高于CPU的功耗。这还没有讲存储的写写的功耗会更高。这样整个系统的性能受到数据存储速度和传输速度的限制能耗也因为存储讀的功耗和写的功耗很大，导致整个系统功耗都很大现在可以看到很多新的计算出来了，量子计算、光计算、类脑计算、存算一体所鉯当我们要思考未来的计算时，我自己觉得量子计算、光计算是向物理找答案类脑计算、存算一体是向生物找答案，也就是向大脑找答案著名的人机大战，人工智能选手AlphaGo用了176个GPU、1202个CPU功耗是150000W。而我们大脑体积大概1.2L有1011个神经元，1015个突触思考的时候功耗是20W。大脑的功耗這么少这么聪明，这里面还有这么大容量的神经元、突触所以我们希望用脑启发设计新的人工智能芯片。我们想通过向生物学家学习、向神经学家学习来看看大脑是如何处理计算的。大脑有几个特点一个是有大量的神经元连接性，以及神经元加突触的结构一个神經元将近连接了1万个突触。第二个它的时空信息的编码方式是用脉冲的方式我们希望模仿大脑的结构和工作机制，用脉冲编码的形式来輸入输出生物突触是信息存储也是信息处理的最底层的生物器件。我们想在芯片上做电子突触新器件做存算一体的架构。新器件方面峩们主要研究的是忆阻器它的特点是可以多比特，同时非易失即把电去掉以后可以保持这个阻值，并且它速度很快还有很关键的一點，它和集成电路的CMOS工艺是兼容的可以做大规模集成。近十年我们一直围绕这个器件来做其优化和计算功能美国DARPA的FRANC项目提出用模拟信號处理方式来超越传统的冯·诺依曼计算架构，希望带来计算性能系统的增加。任正非在2019年接受采访时说，未来在边缘计算不是把CPU做到存儲器里就是把存储器做到CPU里，这就改变了冯·诺依曼结构，存储计算合而为一速度快。阿里2020年的十大科技趋势里提到计算存储一体化唏望通过存算一体的架构，突破AI算力瓶颈存算一体的理念也是受大脑计算方式启发的。基于忆阻器的存算一体技术可以分为三个阶段：苐一个阶段是单个器件的发展阶段2008年惠普实验室的Stan William教授首次在实验室制备了忆阻器，之后美国密西根大学的卢伟教授提出了电子突触概念美国UCSB大学的谢源教授提出了基于忆阻器的PRIME存算一体架构，引起广泛关注第二个阶段开始做阵列，2015年UCSB在12×12的阵列上演示了三个字母的識别我们团队2017年在128×8的阵列上演示了三个人脸的识别，准确率能够大于95%同时期还有IBM，UMass和HP等研究团队实验实现了在阵列上的存算一体；苐三个阶段是存算一体芯片我们以芯片设计领域的顶会ISSCC上近几年发表的文章为例，2018年松下展示了多层感知机的宏电路2019年台湾地区新竹清华大学和台积电联合演示了卷积核计算的宏电路，今年清华和斯坦福合作做的限制玻耳兹曼机宏电路也是今年我们清华团队完成的一個全系统集成的完整的存算一体芯片，从系统测试结果来看这个芯片能效高达78.4TOPs/W，是相当高的我们还做了一个对比，一个是存算一体的芯片和系统一个是用了树莓派28纳米的CPU。我们的芯片跑完一万张图片是3秒而他们是59秒，我们的速度要快很多准确率却相当。今年1月我們在Nature上发表了一个忆阻器存算一体系统的工作这个工作主要是把多个阵列放在一起组成一个系统，并验证是否能用作模拟计算来实现AI的笁作我们提出新型混合训练算法，实现了与软件相当的计算精度还提出了新型卷积空间并行架构,成倍提升了系统处理速度。为什么忆阻器存算一体适合人工智能呢因为交叉阵列结构特别适合快速矩阵向量乘法。存算一体可以减少权重搬移带来的功耗和延时有效地解決目前算力的瓶颈。另外人工智能更关注系统准确性，而不是每个器件的精度这特别符合忆阻器和模拟计算的特点。我们还和毕国强咾师合作了一篇综述文章利用脑启发来设计人工智能芯片，我们把大脑从I/O通道到突触，神经元到神经环路，到整个大脑的结构都囷电子器件做了对比。文章题目叫《Bridging Materials上面如果大家感兴趣可以读这个文章。展望未来希望能够做一个存算一体的计算机系统。以前是晶体管加布尔逻辑加冯·诺依曼架构，现在是模拟型忆阻器加模拟计算和存算一体的非冯架构。人工智能无处不在，从云端到我们手机端都有很多人工智能也在深刻影响我们生活，前几天听说谷歌用人工智能预测天气预报，比过去物理模型做的好很多，所以说人工智能的应用會越来越广泛我们看看不同的人工智能的应用对芯片需求是不一样的。数据中心的需求就是要求算力特别高比如说GPU，芯片算力有多少個TOPs功耗比较高，但是它的算力很大比如汽车无人驾驶也是大芯片，算力很高智能的传感网、物联网和我们手机都是用电池的，这种凊况下希望耗能特别低这时候就追求高能效，比如1W到几十个TOPs等等甚至更高，所以不同的应用对需求不一样这也给了我们芯片领域很哆机会，不管是瞄准数据中心服务器的还是智能终端的人工智能有三个浪潮，我主要从三个浪潮和硬件算力的关系来说1956年，达特茅斯開AI夏季研讨会1957年Rosenblatt发明了第一款神经网络Perceptron，后来AI就非常火大家发现这个有用。到了70年代后来就出现一些问题，进入了低谷这里面有┅个非常重要的因素，虽然理论模型很好但是缺的算力很多，没有足够算力是不行的那时候芯片的算力只有1M的OPs，其实跟现在比差了很哆所以1到10M OPs的芯片算力很难支撑序列的复杂任务。到后来专家系统出现专家系统能回答很多问题，第二波浪潮又起来这时候很多人做專门围绕人工智能的计算机，这时候从操作系统上、指令集上等等做了一些设计那时候摩尔定律快速推动芯片的发展，通用计算机的性能飞速上扬很多事情专业计算机做的事情，通用计算机也能做这时候通用计算机性能飞速上扬，逐渐占据了市场第二波浪潮下去了。第三波浪潮2006年Hilton提出深度学习神经网络，到2015年Alex提出利用GPU加速网络训练获得了当年ISV计算冠军，GPU就成为AI的主要训练平台网络规模快速提升，我们可以看到后来一些专用的硬件比如谷歌开发的APU，包括计算所的“寒武纪”等等都是新型的硬件架构开始走上了舞台。我们看看AlphaGo的Zero需要5000个TPU训40天才成为地表的围棋还是要花很大时间训练的，对他算力的趋势很大我们也希望硬件能力革新，能够支撑发展这张表昰我们团队基于英特尔的一个表又重新制作的表。计算机在四几年的时候ENIAC，这个计算机当时的算力是每秒钟5000次左右5000是加法，400是乘法現在英特尔的CPU，20.8的GFLOPS这是2019年的。我们看到它的变成从ENIAC，到英特尔的386、486到奔腾，到英特尔Croe它是围绕着摩尔定律，每18个月翻一番的集成喥来提升算力当芯片功耗比较高就调整为多核，开始进入换变期其实中间还有Nvida的GPU，GPU比CPU搞一个数量级但是我们AI的需求，可以看到在这の后每三年四个月翻一番目前AlphaGo Zero在这个地方，可以看到芯片能够提供的算力和人工智能的高需求是很矛盾的所以需要寻找新方法提供算仂。芯片来讲算力提升越来越困难有两个原因。（图）这个图展示80年代到现在的性能表是J·Hennessy和D.Patterson的文章里讲的，目前来讲每年的算力提升3%左右两个原因，一是过去摩尔定律是把器件做的越来越小现在器件尺寸缩小已经接近物理极限了，所以摩尔定律变换了二是传统嘚计算，存储计算分子架构带来的性能提升日趋缓慢摩尔定律变缓。在2019年我们集成电路的量产工艺是7纳米今年说是要5纳米、现在3纳米吔看到了机会。再往下很难做原因就是说我们现在原则执行一个纳米左右，再往下做很多量子效应是很难控制的晶体管尺寸存在物理極限，不可能无限的缩小所以传统的不断缩小器件尺寸的方式已经很难往下走了。存储墙的瓶颈冯·诺伊曼架构因为存储、计算分离，1946年提出冯·诺伊曼架构，处理器是CPU吗分离，处理器是CPU吗专门做计算算完之后通过总线把数据放到存储器，需要数据从存储器再提取数據通过总线传到处理器是CPU吗来，这种存算分离架构在设计上非常清晰也助推了过去70年的计算机系统的发展。但现在受到一个很大的挑戰我们看右边的表，CPU的计算速度小于1纳秒但是我们主存DRAM是百纳秒左右，这方面存储的速度远远低于计算速度差100倍，存储就拉后腿了最右边的图是能耗图，TSMC45纳米的工艺可以看到加减乘，其实也就小于一个PCR左右但是32位DRAM的读要高达640个PCR，这一比也是百倍的差距所以看箌存储速度远远低于CPU的速度，它的功耗也远远它的功耗而且还没有讲存储的写，写的功耗更高这样整个系统的性能受到数据存储速度、传输速度的限制，能耗也因为存储读的功耗、写的功耗很大导致整个系统功耗很大。向大脑找答案所以我们讲人工智能时代我们要思栲未来的计算刚刚唐老师也做了很好的总结，现在可以看到很多新的计算出来了量子计算、光计算、类脑计算、存算一体。我自己觉嘚量子计算、光计算是向物理找答案类脑计算、存算一体是向生物找答案，也就是向大脑找答案我们来对比，我们知道人工智能让我們大家很感兴趣著名的故事AlphaGo和李世石、柯洁大战，一个是2016年3月份一个是2017年4月份，最后李世石和柯洁都输了我们看到AlphaGo用了176GPU、用了1000多个CPU，又把TPU又加上了它的功耗是150000W，我们大脑体积大概1.2L有11的11次的神经元，10的15次方个突触而且在思考的时候功耗是20W，这是非常奇妙的大脑嘚功耗这么少，这么聪明这里面还有这么容量计算的神经元、突触。所以我们希望用脑启发设计新的人工智能芯片是非常必要也是急需嘚我们看一看大脑从微观到宏观尺度。（图）我们从电子信息的角度、芯片角度来看这个问题以视觉系统来看，视觉信息处理前面眼聙传感视网膜是各种各样的细胞结构。后面还有对比视觉信息的处理这是大脑和神经环路的结构。还有很多神经元轴突和另外一个鉮经元的树突形成了一个突触。仔细看突触轴突过来，这是树突接收的地方然后发现很多离子通道，离子通道也很关键的是很重要嘚机理。从结构上来看最底层是离子通道，形成了突触这个有突触，这边有神经元再往上有神经环路，脑网络从微观到宏观尺度，怎么反映到芯片里面怎么反映到Brain Cumputng里面去，这是我们需要思考的问题把神经元放大里面，这是它的轴突、树突这是另外一个神经元，它的轴突和树突交接的地方就是Steps动作电位是神经传导的胜利基础，例子通过通道移动之后会引起离子膜电位的变化膜电位的变化介導神经信号的传导。我觉得这里面还有好多可以学习的我今天会简单提一句我们另外的工作，也是树突上面的一些计算功能类脑计算。大脑有很多奇妙的地方我们想通过向生物学家学习、向神经学家学习看看大脑怎么计算。大脑有几个特点有大量的神经元连接性的突触，神经元加突触的结构一个神经元将近1万个突触。另外它的时空信息的编码方式是用Spike的方式Spike之间的间距来看，我们把这些转移Spike过來在一个神经网络里面不管是积分也好，还是非线性处理也好我们希望模仿大脑的结构和工作机制，也就是说我用脉冲编码的形式来輸入输出编码方式和现在的数据上的输入是不一样的，刚才唐老师也介绍了这方面的工作突触这个地方，生物突触是既储存了信息I/O通道的情况会对突触的大小有影响。另外它的膜电位在这个地方也进行了信息处理，我们认为突触结构本身是信息的存储也是信息处理嘚最底层的生物器件我们能不能在芯片方面做同样的事情，我们做电子突触新器件我们做存算一体的架构，我们改变我们的冯·诺伊曼架构，存储计算分离架构变成存算一体架构，这时候新器件我们主要做忆阻器，忆阻器这个器件还是比较简单的因为太复杂的器件集成喥上不去。大脑有千万亿个突触我们比它少一点也得是多少亿以上才行，我们器件很小很简单，上电极、下电极中间是介质层。这期间通过里面氧离子的运动让我们这个器械的组织可变，这是在持久电压下的情况它有个特点，可以多比特这个器件可以1欧姆可以昰2欧姆，可以是3欧姆可以在不同的组织停下来。同时这个组织是非易失的把电去掉以后，它保持这个组织它速度很快，多少纳秒之後就行了还有很关键的一点，它和集成电路的工艺很多是兼容的也就是CMOS compatible，可以做大规模集成这是这个器件的特点，我们主要围绕这個器件近十年一直做它的优化和在它的上面做计算功能。什么叫新型计算范式呢在人工智能算法里面有很多向量乘矩阵、矩阵乘矩阵，如果把向量X1、X2、XM转化成器件的交叉阵列，垂直上电极中间黄的是介质层，在这种情况下如果把X1到XM转化到电压的V1、V2到VM，这样我把这邊G11参数转化为器件的电导电压乘以电导就得到电流，这是欧姆定律定流累计相加就得到了总和电流，这是加法也就是说我们现在的計算是基于物理定律的计算，这是用完成矩阵乘积的计算存算一体美国DAPPA的FRANC项目，美国的ERI“电子复兴计划”里面提的FRANC项目他们提出用模擬信号处理方式来超越传统的冯·诺伊曼计算架构的创新，希望带来计算性能系统的增加。任正非在2019年4月接受美国采访时说华为未来一方媔做连接做5G，在边缘计算上做到世界最好未来在边缘计算不是把CPU做到存储器，就是把存储器做到CPU里面就改变了冯·诺伊曼结构，存储计算合而为一速度快，他们也在做这个事情阿里2020年讲十大科技趋势，趋势二里面就说计算存储一体化，通过AI算力评级可以说采用存算┅体的架构，应该说是非常大的突破我们也希望能够突破AI算力瓶颈。存算一体的理念也是受大脑计算方式启发的数字芯片，它的技术蕗线由过去的CPU、GPU也有谷歌TPU，它是用近存计算来做的还有存算一体处理器是CPU吗等等。我们的存算一体处理器是CPU吗我把它三个阶段，单位个器件的发展阶段惠普的Stan Villiam，在2008年首次在实验室制备了忆阻器之后密歇根大学的卢伟教授提出电子突触概念，之后华人教授加州大学嘚谢源教授提出PRIME存算一体架构谢源教授现在在阿里巴巴。第二个阶段做完器械之后开始做阵列，2015年UCSB的Barbaro Dimitri（音）教授在12×12的阵列上也是彡个字母，Z、V和M三个字母识别我们2017年在128×8的阵列上，演示了三个人脸识别工作准确率能够大于95%，比CPU+外存储器高一千倍左右还包括密歇根大学的稀疏编码，惠普和麻省大学在8K上的MNIST数据集IBM做的结合相变存储器和GT1C单元演示前夕学习，这是他们2018年做的工作2015年到2018年是国际上哆个团队存算一体的阵列工作。第三个阶段是存算一体芯片芯片可以更好地反映trade-off，松下的宏电路多层感知机包括新竹清华大学和台积電的卷积核计算，ISSCC上面这是芯片里面最高的会议了。今年我们和斯坦福合作做了宏电路限制玻耳兹曼机同时我们独立完成了一个全系統集成的完整的存算一体芯片，也是一个多层感知机跟它合作的是宏电路，我们这是一个完整的芯片这个芯片我们从实际系统测试结果来看能达到78.4TOPs/W，还是相当高的而且现在的工艺是130纳米，我们做了两个系统对比左边是存算一体的芯片和系统，右边是用了树莓派28纳米嘚CPU可以看到我们的速度，跑完一万张图片是3秒他们是59秒，速度要快很多准确率相当，能效比它高几百倍同时有完整的芯片可以深叺的分析各种模块的性能。今年1月我们在Nature上发了文章这个工作主要是我们把多个阵列放在一起组成一个系统，阵列和阵列之间怎么传数據我们来验证是否能够用模拟计算实现一些AI的工作，我们提了新型的混合训练算法也提出了新型卷积空间并行架构。为什么忆阻器存算一体适合人工智能呢因为交叉阵列结构特别适合快速矩阵向量乘法。存算一体的器件特性可以减少权重搬移带来的功耗和延时有效哋解决目前算力的瓶颈。另外我们觉得人工智能是一个更关注系统组织性，而不是关注每个器件的精度这特别符合忆阻器和模拟计算嘚特点，这是我们的认识最后讲讲我们最近的工作，最近神经科学界发现树突不仅仅是传输数据的功能也有滤波和积分的作用，它在涳间和时间上都可以对一些信号进行处理也就是不是说的信号，不是缩短信号从突触通过树突传到胞体，而是有很多信号在树突被过濾掉我们希望把树突的概念引入到我们的神经元的结构里面去，我们相信这种结构可能会对神经网络的性能尤其能效大幅度提高我们莋了一个器件，我们整理了一下突触、树突和胞体不同的功能我们还搭了一个系统，树突和胞体连在一起我们也做了工作，这个工作巳经被接收希望尽快能发表出来。我们发现动态功耗能降低30倍左右而且准确率还能提高。我们后来觉得注意力等等是不是也和树突也囿关系总的来说，脑启发来设计人工智能芯片我们写了一篇综述文章和毕国强老师合作，在去年Adv.Mater发表了将近30页的综述文章大家感兴趣可以看一看。我们把大脑从I/O通道到Synapses Networks》，如果大家感兴趣可以读这个文章展望未来，希望也能够做一个存算一体的计算机系统跟以湔比，以前是晶体管加布尔逻辑加冯·诺伊曼架构，现在是模拟忆阻器加模拟计算和存算一体的架构，同样我们需要编译器、指令集等等，还有面向模拟计算的算法等等，上面的应用就不用太多变化。分享三：《神经元稀疏发放在视听觉通路上的作用》胡晓林 清华大学计算机科学与技术系副教授2007年在香港中文大学获得自动化与辅助工程专业博士学位然后在清华大学计算机系从事博士后研究，2009年留校任教至今他的研究领域包括人工神经网络和计算神经科学，主要兴趣包括开发受脑启发的计算模型和揭示大脑处理视听觉信息的机制在IEEE Transactions on Neural Networks and Learning Systems, IEEE Systems的编委。胡晓林：各位嘉宾好各位在线朋友们好！非常荣幸今天有机会和大家交流，今天我分享的主题和前面两位嘉宾分享的正好相反前面兩位嘉宾讲的都是我们神经科学怎么样启发做新的器件，因为这个主题是AI和脑科学的交互我来讲另外一个方面的工作，就是AI的发展神經网络的发展，怎么样促进神经科学的研究我对神经科学和AI方面都比较感兴趣，两方面的工作都在做今天主要是讲从AI到BI这方面的两个尛工作。我今天介绍的内容和前两位嘉宾有点不同前两位嘉宾讲的都是非常宏大，我今天只是介绍两个点上的工作神经网络和神经科學与大脑视觉皮层是有一定关联的首先看一下背景。左边是视觉系统大致的通路信息从视网膜到LGN到脑皮层。中间是听觉皮层也是一个層次化结构，信息从耳蜗一直传到听觉皮层右边是典型的神经网络。从图上可以看到至少我们现在的神经网络和视觉、听觉系统有一萣的相似性，至少是层次化的结构基于这种相似性是不是可以利用现在神经网络的飞速发展来促进神经科学的研究，促进我们对大脑的視觉、听觉或者其他感觉皮层工作机制的理解呢这是我们今天要重点讨论的问题。这个方面的工作比较早期的一个工作，是2014年MIT的教授怹们做的一个工作他们用一个神经网络，一个CNN去训练了一个图片分类的模型然后同样的图片给猴子看，可以记录猴子不同的视觉区域比方说V4和IT两个区域神经元的发放，最后去比较神经网络不同层和猴子的不同皮层V4和IT这两个区域神经元的相关性发现不同神经网络层的鉮经元反应的特点正好对应猴子IT、V4区域反应的特点。这是第一次证明神经网络和神经科学和大脑视觉皮层是有一定关联的这是一个神经科学的发现，我们先简单介绍一下这个神经科学发现然后对比一下。这是2013年纽约大学的一个工作他们做了一个实验，让猴子和人去看兩种不同的图片这是从原来的自然图片通过算法合成的两种不同的图片，中间的比较像自然图片右边是噪声图片，不完全是噪声是從自然图片合成的噪声。然后给猴子这两类图片NT是中间那一列，SN是右侧一列V1区域记录猴子的发放，发现V1的神经元对这两类图片的反应差不多基本上分不开。但是到V2神经元对于NT一类的图片反应高一些对于SN类的图片反应低一些，也就是在V2有一个区分他们定义了Index，一个鉮经元的Index如果越高就说明这个神经元越喜欢比较上面的图片，那个图片从数学定义上来讲是含有高阶统计特性的图片时间关系，不展開讲它具体的数学定义什么叫含有高阶统计特性。总而言之V1区域所有的神经元的Modulation Index都集中在0附近，在0左右对称在V2，大部分神经元的Modulation Index都昰正的也就是大部分的神经元都是喜欢这种比较像自然图片的图片。2015年的时候日本的一个研究小组在另外一个区域就是猴子的V4区域，怹们发现了同样的结论V4的神经元相对V1来讲，他们更喜欢具有高阶统计特性比较像自然图像的图片而不是噪声。为什么会又有这样的结果为什么V2和V4的神经元他们喜欢像自然图像的图片而不是那种噪声呢？为了研究这个问题有两种选择，一种是用传统的计算模型计算鉮经科学领域早期的模型都是单层的，现在为了研究这个问题显然单层模型没有办法的因为研究的是视觉皮层的高级皮层，如果没有下媔的这些层上面就没有办法研究，所以需要一个层次化的模型所以我们考虑用深度学习的模型来研究这个问题。这是我们的模型我們构建了这样一个模型，这是很标准的深度学习模型有输入输出，我们用同样的方式从自然图片中创造出一种像自然图片的图片一种昰噪声图片，这个噪声不是随机噪声它也是具有一定语义的，但是它和像自然图片的图片有所不同我们把这两类图片输入到模型里面詓，然后记录每一层神经元的反应我们也可以定义每个神经元的Modulation Index，这个Modulation Index比较大就说明这个神经元比较喜欢具有高阶统计特性的图片结果非常有意思。有三行第一行是AlexNet，第二行是VggNet大家如果做深度学习的话是非常熟悉的，这两类非常典型的卷积神经网络这两个神经网絡有很多层，我们把他们分成五个大层AlexNet本身就有五个卷积层，Vgg因为中间有很多max pooling以此为界可以把相邻的几个卷积层分成一个大层，总共吔会有五个层统计每个大层的Modulation Index，就是蓝色的柱状图基本上随着层数越高，它的Modulation Index越高右边的图显示的每一层，Modulation Index的分布可以看到在LAYER1的時候，Modulation Index集中在O左右差不多对称，越往后面去Modulation Index越来越正，最后大部分集中在1也就是说比较顶层LAYER5大部分神经元就是特别喜欢高阶统计特性的图片。下面还有一个网络这是一个无监督模型我们叫它SHMAX，它的结构跟上面两个结构基本是一样的唯一区别是它的学习是一种无监督学习，我们可以得到同样的结果蓝色柱状图和后面的Modulation Index分布都是一样的结论。刚才最后的模型每一层的学习是Sparse codind，Sparse coding的公式在这儿我想佷多朋友应该听说过这个模型，这是经典模型1996年就提出来了，这是一个无监督学习模式也就是对于图片不需要监督，就可以进行学习我把这个模型堆叠很多层，先学一层把它的输出作为下一层的输入，在下一层继续用同样的过程进行学习就可以得到刚才说的第三個模型。也就是说对于有监督学习模型和无监督学习模型他们的Modulation Index都是随着乘数的增加而增高的。到底是什么样的因素导致了这些神经网絡具有这样的特性我们考察了很多因素，最后我们发现Response Sparseness非常重要，它跟Modulation Index成正相关的关系比如我们看AlexNet、VggNet、以及SHMAX，你看他们的稀疏性Sparseness伱给它看很多图片，很多时候神经元是不发放的因为它有一个ReLU，有些时候是不发放的有些时候是发放的，Sparseness定义的是神经元在多大的比唎是不发放的可以看到随着层数上升，Sparseness会越来越强正好跟Modulation Index就会越高。简单总结我们通过三个深度学习模型上发现和猴子视觉皮层高層反应特点类似的一个结论。当然也可以做一些预测时间关系，这些模型预测我就不讲了稀疏发放的特点和神经科学的发现是呈正相關的关系第二个工作，这是一个关于听觉的刚才已经提到听觉皮层也是层次化的结构，人们在听觉通路上也发现了很多有意思的一些结果比如说在耳蜗后有一个nerve fiber（59：03），你给它一些刺激它的反映特别是呈这样的小窝的形式，在下丘这个地方这些神经元它们的感受也昰可以测出来的，横轴是时间、纵轴是频率在听觉皮层，人们发现在皮层里面有很多神经元或者有很多Local area他们可以特异性的一些音素比較喜欢，音素是比音节更小的单元比如“a”里面有辅音“b”，元音“a”元音辅音这些东西又叫音素。作为计算能力科学怎么解释这些結果计算机科学已经用Sparse coding解释了nerve fiber 和下丘（IC）的神经元的反映情况，具体是这样的这个模型还是Sparse coding模型，X是输入、S是Response如果你的输入不再是圖片如果是语音，最后解出来AA是每个神经元的感受野，它就长成这样小波的形式在IC区，用同样模型只是把输入改了一下输入不再用位子格式的输入，而是进行视频转换输入频谱图，把频谱图当成X再去求解一个Sparse coding模型，就会得到神经元的感受点也呈这样的形式神经科学家已经发现IC区的神经元的感受点的形状就是长这样。前面两个层级的神经元的反应特点已经被解释了第三层级，就是最高层这个現象怎么解释呢？核心含义是给病人插一些电极做手术的病人插一些电极，可以发现有些电极特别喜欢d、g、e、h、k、t这几个辅音有些电極喜欢摩擦音，还有的喜欢元音o、e、i总而言之他们发现在人类的Quarter上面，神经元对音素有特异化的表达这种表达是怎么出现的呢？就是峩们要回答的问题我们为什么有这样的表达。第二个问题是前面比较低的皮层用Sparse coding解释了他们的现象同样的Sparse coding模型能不能解释高层的现象呢？为了回答这两个问题我们做了层次化的稀疏编码模型典型的CNN结构，只不过我们每一层的学习不再用BP算法而是用Sparse coding，第一层学习完以後再学习第二层第二层学完以后再学第三层，就这样从底层一直到高层学习我们的输入就是时频格式的信号。有意思的是构建了这樣的层次化的稀疏编码模型，我们把靠中间的层拿出来S2第二卷积层，把这个地方的神经元的感受画出来可以看到这些感受野和神经科學家在下丘测出来的神经元的感受野有类似的形状，这些感受野的形状参数的分布也和在猫的下丘这个地方测的参数分布是一致的最有意思的是到顶层以后，我们发现顶层Layer C6这里很多神经元特异性的喜欢一类音素，比如B、P、L、G还有一些神经元喜欢元音，a、o、e而且聚集效应在顶层最明显，在下面这些层也有只不过这个效应低一些，数值越低就是说它的聚集效应低一点也就是说这个模式并不是陡然在頂层出现的，其实下面的层级也出现了只不过神经科学家们没有测到下面那些区域神经元有这样的表达，当然这是我们的推测总结一丅，我们发现一些深度学习的模型在中层和高层这些地方这些神经元的反应和视觉和听觉的中层和高层的真实的神经元的反应有一定的┅致性，这个结果并不是一个非常Trivial的结果我们并没有尝试Fit数据，所有的学习准则要么是使得分类的准确率高要么是使得重建的输入准確，并没有Fit任何生理学的数据但是就是出现了这样的特性，所以我们觉得这样的结果还是非常有意思的第二个结论，稀疏编码前面研究的这些深度学习模型都有一个稀疏发放的特点，而且稀疏发放的特点和神经科学的发现有重要的关系当然这些深度神经网络去研究鉮经科学的问题也是存在巨大的缺陷，就是他们模型的细节结构和生物上的系统还是存在着非常大的差异所以没有办法用很粗糙的学习模型去研究细节的神经科学的问题。感谢大家！讨论环节 山世光：谢谢胡老师给我们分享了两个非常具体的案例试图去建立AI特别是深度學习模型和我们脑的神经网络之间在某一些层面的一致性。再次感谢三位嘉宾的精彩分享接下来我们进入嘉宾讨论环节。我们今天的讨論嘉宾除了刚刚已经给大家介绍过的作分享的三位老师外我们有幸邀请到三位讨论嘉宾，他们分别是来自北京师范大学认知神经科学与學习国家重点实验室的毕彦超老师来自中国科学技术大学神经生物学与生物物理学系系毕国强老师，来自北京大学信息科学技术学院长聘教授吴思老师毕彦超：我是来自北京师范大学认知神经科学与学习国重的毕彦超，谢谢山老师和未来论坛的邀请我自己做认知神经科学研究，我觉得整个论坛做认知或者整个领域国内做认知的相对少一些所以请允许我稍微介绍一下我们整个主题。我们关注人的认知功能的脑基础我们实验室关注的核心问题是物体识别和知识的存储。我们关于大千世界有各种各样的知识比如简单的，剪刀有什么功能玫瑰有什么颜色？最近我们学到的新冠病毒是什么都存在大脑当中，记忆系统的一部分叫语义记忆有了这些知识信息我们才可以莋各种各样的认知功能，我们可以识别物体理解词的意思。我们实验室特别关注这种知识在记忆里面存储在大脑什么地方。以什么样嘚形式编码什么样的信息。我们关注人的高级功能拿各种各样的人群做实验。比如正常人把他放在核磁机器里，让他做知识提取加笁任务看大脑活动模式是什么。先天盲人和聋人完全剥夺视觉和听觉的经验，看对大脑的知识和理解有什么样的影响我们还做各种各样的脑损伤病人，破坏大脑各种各样的地方看对什么样的知识缺失。我们发现很多有趣的结果很期待和AI领域的各位同行和朋友去交鋶，很想试一试我们的新发现和思路我是默默关注AI很多年，我一直受认知心理学训练在我早期念书的时候，AI早期的理论模型、PTP模型嘟是天然的一些认知心理学的模型。后来自己工作关注到大脑的机制发现中间有很多年的鸿沟。前些年机缘巧合参加了AI两个主要领域的會议机器视觉和自然语言处理，发现很大的领域这么多人用和我们非常相似的词汇，但是其实做非常不同的事情也有很多不同的视角所以这些年我也尽量学习和了解AI领域对我们相似的问题的理解和思路，对我自己有很多的启发同时我也觉得我们对人脑认知计算的很哆新特点的发现，AI领域真的应该过来试一试很好玩，所以非常有兴趣参加这种跨学科的交流活动谢谢未来论坛。毕国强：非常感谢世咣老师、华强老师与论坛的邀请非常高兴参加这次跨界论坛。我现在研究的工作和教书都是神经生物学我自己本科是学物理的，跟AI还昰有一些特别的渊源1988年左右，赵凯华老师组织过一个全国人工神经网络研讨班我跟着赵老师和他的研究生在研讨班上做记录，当时就覺得非常神奇然后就特别想要了解一下大脑神经网络是怎么回事儿，于是研究生的时候就开始学生物算是一个曲折的经历。我们现在莋的神经生物学工作与刚才华强、华锦老师都提到突触可触性有关我关注的主要是学习记忆的规则和机制，这也与AI有关AI之所以有这么強的威力，一个根本原因就是它的学习能力我们研究大脑的学习和记忆主要关注两个层次，一个是在突触的层次一个是在大脑神经网絡的层次。在突触层次上可塑性是一种局域规则，比如我们研究的STDP刚才两位老师也讲到过，是在生理条件下很多系统里大家也都观测箌的规则也应用在许多计算神经科学和脉冲神经网络模型里。但实际上的STDP和脉冲神经网络的应用还不是很成功它的性能一直很难上去。我个人对这方面的理解是STDP作为一个生物学规律的描述还不是非常完善比如在不同类型的神经突触甚至同一类型的神经突触的不同状态丅，STDP规则都可能很不一样这样的话如果我们只是简单应用同一个简化的规则，确实可以理解会遇到很多问题而完整的规则对于实验神經生物学家来说是一个很大的挑战，原因是我们仍然缺乏对可塑性机理的深刻理解而这在一定程度上是由于实验技术的局限。最近十来姩我们做的事情是尝试发展和应用新的微观成像技术包括最新的超分辨光学显微和冷冻电镜技术来看突触到底是什么样的，将来再进一步去看它在可塑性中发生什么变化另一方面在发展新的工具来看更大尺度上大脑神经网络是什么样的，我们最近这几年发展了一个新的高通量脑结构成像方法可以很快的把一个鼠脑的神经元和全脑尺度的连接三维结构很快拍出来，这样的一个工具也让我们能够开始探讨動物在某些行为下的神经活动的印迹再反推神经活动和行为之间的关系。我们正在深圳建设科大和深圳先进院的联合研究中心叫脑信息中心，在那里我们希望通过这些不同尺度的成像方法来探索脑结构和功能的大数据信息这些数据的进一步分析，也需要AI的方法而从這些分析得到的结果，也希望能对AI的进一步发展提供素材和启发这是我们做的事情，谢谢大家吴思：我先介绍一下自己，我是来自北京大学的吴思我的研究方向是计算神经科学。简单说计算神经科学就是用计算的方法来研究脑科学，很显然这样的研究会有很多附产品可以启发我们发展人工智能的算法。我课题组目前有50%的精力在做计算神经科学另外50%做类脑计算。目前比较关注的课题包括：神经编碼的机制与模型如大脑表征信息的正则化模型，大脑如何做贝叶斯推理以及多模态信息整合的问题；另一个大的方向是关于视觉信息嘚加工机制，如神经反馈的作用皮层下的视觉通路计算功能，以及皮层上和皮层下通路之间如何实现信息融合另外，我们也做一些脑啟发的类脑计算研究如用连续吸引子网络大脑实现物体跟踪，尤其是在加入负反馈的情况下实现预测跟踪；同时受皮层下视觉通路启发我们也发展一些算法，可以做运动模式的识别、物体全局信息识别等这些都太细节，这里就不详细介绍首先感谢未来论坛的邀请，紟天的主题是关于AI和脑科学之间的关系在很多不同的场合总有人问我这个问题。从大的方面说AI就是我们要创造一个人工的智能体，这昰个工程问题；而脑科学尤其脑科学中关注信息处理的研究，是要解析生物的智能体这是一个科学问题。因此AI和脑科学的关系从某種意义上说就是科学和工程的关系。在AI中大家最近经常强调深度学习的有可解释性，就是我们要打开深度学习网络的黑箱这其实也是腦科学研究一直在干的事情，只不过打开的是生物体智能的黑箱两者都是在干同一个解析智能的问题，一个是从工程的角度我们怎么去創造一个智能体而另一个是从科学的角度去解析大脑的工作原理。因此两者之间的互动和互补是很显然的。一方面大脑是自然界已經存在的智能体，我们了解它肯定能够帮助AI发展；另一方面创造AI也有助于我们真正了解生物智能。有一种说法是了解一个事物最佳的方法就是你去制造它。AI和脑科学互助从逻辑上说是非常自然的大脑是宇宙中已知的最好的智能体，发展人工智能当然要从大脑中去学腦科学的确已经给了AI启发，但目前还远远不够从我自己的研究经验看似乎经常是AI帮助我做脑科学，而不是脑科学对AI有什么帮助这个问題出在什么地方呢？一个很大的问题是吴华强老师刚才说的现在的算力不够；即便计算神经科学发展了一些好模型，如果没有很好的算仂就实现不了，体现不出脑启发的优点此外，我觉得还有两个问题经常被大家忽视一是目前AI的应用其实关注的任务相比我们人脑的高级认知功能来说还是太简单。比如AI的很多应用涉及的核心任务是目标识别但大脑在我们日常生活所面临的计算远远不是简单的目标识別。当AI应用以后走向更复杂的任务可能脑科学能够提供更多的帮助。还有一个问题涉及当前实验室科学的研究计算神经科学要根据实驗数据，但当前的实验范式通常都太简单了比如对猴子呈现一个简单的刺激，然后记录大脑内神经元怎么反应即便我们把整个计算过程揭示出来，它对我们认识大脑的高级认知功能还相差很远所以实验科学家也要加把劲，把整个实验范式设置的更复杂更多揭示大脑洳何实现高级认知功能，在此基础上计算神经科学的建模、以及发展的算法才能对AI有用第一：脑科学已经为AI发展提供了什么思想、方法囷技术？有哪些典型案例吴华强：我们最近刚刚做一个树突计算的事情，我们最开始做其实是我们看一个器件和树突优点相似，过去鉮经网络里只有神经元和树突树突在神经元里面不体现，也就是所有的突触的信号都传到胞体上和neuro上来了然后Neuro再做integrate/fire。我们发现有一些憶阻器和我们的突触不一样可能有积分功能和过滤功能，后来就跟吴思老师、和毕老师讨论过觉得和树突有点相似，我们就开始研究樹突能不能做一个Electronic Device后来发现很有意思，人的大脑里突触很多突触的很多信号如果都传到胞体上，胞体就崩溃了就分掉了，这是我猜測的不是所有的树突都传到胞体上去，它空间上会group而且时间上也会做一些group。很多信号70%、80%的信号突触上产生的并不传到胞体上来，它呮把重要的信号传过来接近胞体比较近的树突那边有一个负的结构，这种结构对我们神经网络是不是可以大幅度的提升神经网络是不昰可以引入一个轻的树突，就把有一些突触的Synapses weight它和多加一层（神经元）不一样，多加一层“W…”（神经元）就要多加一个层weight（权重）樹突其实和Neuro Soma是紧密结合的，一个胞体一个Neuro有很多个树突，是固定连接如果引入树突，会不会让我们整个计算更加准确甚至我们的注意力也和这个有关系。后来我们做了一点工作把突触和树突和胞体，在实验场连在一起做一个小的系统，发现还挺有意思的一方面對SVA圈数据集，街边的数字门牌号进行识别，发现准确率提高了动态能效提高30倍。这是举个例子说通过对脑科学理解让AI网络更加提升屾世光：这是挺有意思的一个话题，刚才说到猜测树突是不是有滤波的功能过去我们说MCP的神经元模型里面是一个积分，你是不是相当于對每一路的输入又有一个滤波是又加了一层滤波吗？吴华强：就是那个器件可以对它进行过滤我介绍的器件并不是百分之百把树突功能都模仿了，也许在做新的电子器件网络架构上可以发生变化，去年10月我到美国访问MIT它的实验室有一个教授做的报告就有树突计算的，我听了一下他有一个观点，树突的长度和智慧是有关联的他说老鼠的树突多长、人的树突多长，智慧和树突的长度有关系也许给峩们AI带来很大变化。毕国强：华强老师说的树突计算非常有意思我听到华强的结果也非常兴奋，最后的效能提升是由于什么原因是不昰树突的滤波性质或树突本身的构架？这种构架可能把突触变得不太一样一般人工神经网络构架中每个突触的基本性质是一样的，树突構架可能引入了异质性另外，树突结构本身的层级结构的复杂性也可能会对最终产生的计算能力有一些影响关于异质性，我刚提到的突触可塑性STDP应用到人工神经网络效果不好，一个可能的原因就是异质性所以华强的这个工作，把树突结构加进去非常值得进一步看箌底是哪些特征产生了这些性能的提升或者改变。当然从哲学层次上来说生物的大脑和神经系统是很多年进化的结果，是经过自然选择证明是能够Work的东西。但这里面又有多个尺度上的复杂性从最小尺度上，即使只是看突触不到一微米大小的设备其实真实的突触非常複杂，然后到环路、到整个大脑的结构我们去模仿大脑，可能在不同尺度、不同层次上都可以获得不同的启发这个时候关键的一点是峩们从中得到的东西要分析出来是哪些特性能够对AI起到正面的作用。我觉得短时间内要全面地模仿大脑肯定是不现实的所以我们需要从複杂的层级结构中抽提出关键特性一步一步模仿。第二：从脑科学可以转化到AI来的大家可以不可以分享一些更好的案例？胡晓林：刚才嘚问题是问脑科学已经为AI提供了什么样的帮助有很多工作其实是从脑科学启发过来，追根溯源到1943年麦克和皮茨这两个人第一次提出人笁神经元MP神经元，如果没有他们提出人工神经元后面的这些CNN等等都是不存在的，他们其实是做神经科学的他们尝试发明计算模型并解釋大脑的工作，他们提出了这种逻辑运算的MP神经元后来Rosenbaltt把MP神经元扩展了一下，得到了多层感知机后来在1989年、1990年的时候Yan LeCun等人提出来CNN，当時是受了Neocognitron模型的启发Neocognitron是日本人Fukushima提出来的，我真的找过他那篇论文Neocognitron的结构和现在CNN的结构一模一样，唯一区别是学习方法不一样Neocognitron在1980年提絀来时还没有BP算法。Neocognitron怎么来的呢它是受到一个神经科学的发现，在猫的视觉皮层有简单细胞、复杂细胞两种细胞从这两种细胞的特点絀发构建了Neocognitron尝试去解释大脑怎么识别物体的。后来才发展到CNNMP神经元和Neocognitron这是两个具有里程碑意义的方法，这是很典型的神经科学给我们AI的啟发的工作甚至可以说是颠覆性的工作。坦白说到这次神经网络、人工智能的腾飞这次腾飞期间我并没有看到特别多令人非常兴奋的腦启发的工作，我本人也做了一些这方面的工作发现目前一些受脑科学启发的计算模型好像都没有我刚才说的那两个模型的意义那么大。希望这个领域能出现一些新的脑启发的方法哪怕它们现在的性能非常差，但是十几年、几十年以后它们也许会成为奠基性的工作。屾世光：SNN还需要时间再去进一步观察因为目前还没有到那么强大的地步。吴华强老师做存算一体不知道很可能会成为未来值得关注受腦启发做计算的模型。胡晓林：有可能毕彦超：我们了解任何一个智能系统，比如戈登摩尔我们非常喜欢的一位计算神经科学家说，叻解任何一个智能系统要从三个层次看:计算、算法和实现。我听到刚才大家讲的借鉴的大多都是在实现层面的，包括硬件、底层、神經元等等。我觉得在计算和算法的层面上对于这两个基本机理完全不同的智能系统，计算和算法有很多可以参考的地方我觉得目前沒有看到这方面的界线，我会觉得认知神经科学或者认知心理学是一个宝藏刚才吴老师也提到在视觉加工的时候，至少人脑和猴脑的视覺绝对不仅仅是识别这个标签就可以了是为了正确规避的反应，有社交的功能我们已经在人和猴子的高度视觉皮层能够看到非视觉，仳如对标签的运动皮层的不同反应作为它的塑造作用刚才吴老师和毕国强老师都提到，人的condition并不是特定的single purpose而现在AI的计算很多是特定的purpose，但是并不等于人或者其他动物目前所谓的最优解肯定看我们想要达到什么样的目的。我举一个简单的例子我做知识存储，在AI里面知識存储全都从文本来但实际上神经科学，知识存储更主流的观点是从感知经验来，从视觉来、从听觉来跟视觉去互动来。我们最新嘚工作是发现在人里面这两项都有而且是独立的存在。AI里面大家经常会问，常识性的知识怎么表达一直是个很大的挑战。我们说人腦在神经科学的研究有这方面的答案从我们感知和运动，与视觉的互动当中来刚才说借鉴的成果，我会觉得Implementation我看到很多令人激动的已經很好的成果我还蛮希望人和我们交流，我会觉得有很多宝藏第三：AI怎么助力了脑科学的发展， AI对脑科学的发展有什么典型的帮助吳思：我们要看我们怎么定义AI。如果泛泛的包括信息理论、动力学系统分析、统计学习等那么这些都是计算神经科学每天在用的工具，咜们一直在助力脑科学的发展如果一定要强调最新的，比如说深度学习那么如何将AI用于脑科学是目前的一个研究热点。国际上有多个組也包括清华的胡晓林老师，大家把视觉系统当成一个深度学习网络然后训练这个深度学习网络，同时加入一些生物学的约束然后鼡对比的方法看这个系统能学习到什么，进而回答生物视觉认知的问题山世光：我们看到一些工作也都是在验证，深度网络和人的大脑の间似乎在层上有一定的对应性唐华锦：我补充一下吴思老师讲的，在传统上AI提供了很重要的大数据分析工具视觉神经、视觉皮层，現在的AI提供了很重要的大数据工具尤其是在高通量的脑成像方面，建立非常精细的脑模型AI大数据起到重要的作用。还有实时的脑活动嘚分析上比如斑马鱼的活动，如何同时实时记录以及把这些神经元的活动匹配到那些神经元上这是大量AI深度学习帮助脑科学家在分析數据、统计数据上，包括三维重建包括树突、轴突之间连接的结构也会起到非常重要的作用，AI还是提供了很好的工具在深入的解释上面胡晓林：我接着吴思老师刚才的观点和大家分享，吴思说现在国际有一个热点用深度学习的方式去研究以前在生物学实验当中的结果，在这个模型当中能不能出现这个结果我想说的一点，这是第一步我们首先要来看一下深度学习模型是不是具有这样的特点。如果发現它具有这样的特点你能干什么。深度学习模型是你自己构造的这个模型你所有神经元都可以测。不像生物体会受到实验条件限制囿些地方测不到。这个模型是你自己构造的所有神经元的特点都可以测。如果有了一个等价模型在等价的人工智能模型上做一些实验囷解释，做一些原理性的探索会比在动物那种“黑箱”上做容易一些。我给大家再分享一个话题去年的时候MIT有一个组，DiCarlo实验室刚才提到了他们2014年的工作，他们去年有一个更进一步的工作在猴子的高级皮层，神经科学家很难用一个刺激让这些神经元能够以一个很大的發放率去发放如果做实验的话会发现，越往高层就越难让一个神经元发放为解决这个问题他们做了一个实验。他们先构造了一个神经網络CNN然后把中间的某一层L3层取出来和猴子V4区域的神经元反应做简单的映射，这个映射可能是一个小网络然后学出参数。学出来之后怹们认为从视觉刺激（这只猫）到你的眼睛通过L1、L2、L3再到V4这是一个通路，这个通路上经过的是人工神经网络而不是真正的生物系统，真囸的生物系统是下面的通路看到这只猫然后经过V1、V2、V3最后传到V4。所以他们其实构造了一个视觉通路的替代模型你可以通过这个替代模型，这个神经网络用BP算法反求一个刺激，使得V4区的神经元反应最大最后发现反求出来的刺激像下面这张图的样子。然后再把这些刺激給猴子看去测V4区神经元反应是不是最大。发现V4区的神经元反应远远超出以前用任何刺激所带来的反应也就是说如果不用他们这种反求嘚方式去做刺激，用自然数据是很难让这个神经元发放这么强烈的这个就解决了他们做生理学实验的一个痛点。我和做听觉的老师聊过他们在猴子的听觉皮层发现大部分神经元都是不反应的，很多人觉得猴子的听觉神经元不是干听觉这件事的很多人想不通为什么这样，我觉得可能是我们没有找到合适的刺激毕彦超：我想补充一句，用AI来理解大脑的事情吴思老师也提到我们很费力的想把黑箱打开，峩理解AI最近的潮流包括最近讲的DNN很多时候是把黑箱合上，比如模拟的很好如果只为一个模型，跟我的神经模拟的很好或者可以操纵嘚话，并不等于它就是这样的并不是说这个没有用，而是用它理解大脑的时候比如我们多找一些不同的模型去对比，才会有价值才囿可能为理解稍微添更多的证据。山世光：这本身对AI我们现在深度学习的模型也是一个黑箱，在过去三年里AI领域已经把AI的可解释AI或者XAI这個研究问题突出出来了很多人做了非常漂亮的工作解释黑盒子模型，我相信在接下来的时间里肯定会有更多的发展这个话题还有哪位咾师发言？毕国强：我再补充一句刚才几位老师已经说的非常透彻了，AI在脑科学研究中能够起到很多助力作用从基本的大数据分析到哽高层次的模拟，对大脑的模拟在最后一步，对大脑的模拟有不同深度早期的人工神经网络以及现在很多深度神经网络所模拟的只是鉮经元和突触连接的一些非常基本的性质。用这样简单的性质来模拟大脑能够得到的一些似乎和大脑里面发生的类似的现象，这确实反映了非常根本的机制但是很可能很多事情是没有办法用目前的人工神经网络来解释的，这时候需要用进一步的模拟也可能叫计算神经科学的模拟，刚才吴思提到AI和计算神经科学没有本质上的严格边界这种更深层次模型通过加入更多的脑神经系统的特性就可能模拟神经系统更多的行为，然后可以再反过来看哪些性质是哪些行为必须的当然最后这还是一个大脑理解大脑的复杂性问题。第五：我们面临的昰两个黑盒子深度学习和大脑这两个黑盒子怎么互相对比？能不能把这个黑盒子打开吴华强：我们可以用人的大脑去研究老鼠的大脑，我们可以先从简单的东西研究起我们不能打开自己的大脑，我们打开别人的大脑山世光：脑科学研究需要什么样的AI技术来解决什么樣的前沿脑科学问题，哪位老师就这个话题再说几句吴思：我特别期望望神经形态研究的发展，就是唐华锦和吴华强老师他们将的东西來帮助来帮助计算神经科学的发展我们研究脑科学，提出了各种模型和机制后如果有一个类脑的硬件系统验证一下，就能更好证明这個机制和模型是否生物学合理能否在AI中得到应用。第六：我们还有一个话题关于人才培养这是未来论坛秘书处觉得非常重要的话题，峩们看哪位老师对交叉学科培养有经验或者想法毕国强：这是非常重要的，可能目前整个领域尤其是在国内发展的真正瓶颈，就是怎麼样培养更多的交叉学科的优秀人才这是一个很大的挑战，因为真正的AI-脑科学交叉学科人才可能需要对两个学科都要有充分的把握而這两个学科都是很难的学科，计算机科学、神经生物学都很难而且它中间重叠的部分又不多，不像是计算机和应用数学或者生物学和囮学相对容易一些，如果想把AI和脑科学这两个连在一起你需要几乎双倍的专业知识。国外有很多值得借鉴的经验但最关键是需要鼓励圊年人追求自己的兴趣，你如果感觉大脑很神奇或者AI很神奇真的想研究它们，理解它们那就花别人双倍的力气把这两个学科都学好，這是最重要的我读物理研究生时很容易，英语听不懂照样去考试但读生物研究生的时候发现不光英语听不懂，翻译成中文也听不懂峩只拿录音机录下来，仔细查把所有东西一点一点搞清楚，这样花了一个多学期的时间之后就开始真正能理解生物学家说的话，可以開始去做这方面的研究另一方面，国内很多课程设置有专业限制不同专业间的壁垒还是很大的。在生物系和计算机系这两个学科的要求差别非常大这时候需要设计真正的交叉学科的课程体系，科大在这方面做过一些努力比如温泉老师教物理系学生计算神经科学的课，深圳在建的中科院深圳理工大学也希望建立AI+脑科学的智能交叉学科专业方向建成培养交叉学科顶尖人才的机制。我想后面会慢慢好的大家在北大、清华、浙大，在这方面都有很重的责任毕彦超：刚才毕老师讲的太好，我自己会思索不光是对人才培养，对我们每个囚都是一直的挑战我们参加这个论坛，已经可能是自己领域的异类跨学科有很多特别不容易沟通的地方，虽然用同样的词其实是固垨一些成见，按照自己学科的思路去想刚才吴思提到一点，脑科学很多是科学的思维AI很多是工程思维，我会觉得在沟通过程中我们都會碰到一些壁垒这时候怎么更开放，思考背后大家真正关心的大问题而不是当前具体某个小问题，特别的重要所以在人才培养，我想说自己没有成功的经验但是我一直在招博后，如果有感兴趣的听众山世光：我今天早上还在看心理所要设计本科专业，课程体系里峩看到人工智能的课他们有一门我就在想这个人工智能的课谁来讲、讲什么，对他们来讲前面没有计算机变成课上来就有人工智能，給心理所的人讲确实课程体系建设方面有有非常多的地方需要努力。唐华锦：浙大这边新招的人工智能专业本科生专业设置了AI+脑科学的茭叉课程在推动培养新一代的AI+脑科学方面的交叉人才上已经在布局，相信清华、北大也有类似课程的设计胡晓林：我个人认为在毕老師你们那儿开人工智能课，前面没有编程基础上来就讲人工智能很难的。我觉得反过来如果在信息科学这样的院系开设脑科学相对来講应该是比较容易的，因为就我这点不成功的经验来讲学神经科学可能不需要特别系统的、像数学、编程那样要经过好几年的培养。浙夶这样的做法可能是比较好一点在我的课题组，我是鼓励同学们做一些脑科学的事儿但是目前为止不是特别成功。现在计算机信息学科的学生更加关注的还是AI偏纯AI，技术本身这是另一个方面的困难。山世光：也不容易我本人也学了好几年，现在刚刚能做到脑科学、神经科学说的词汇我基本能理解但是更深刻的思考也做不到，感觉也不是那么容易胡晓林：要真正有兴趣，真的觉得这个东西不解決AI这个领域可能也没有特别大的发展。 山世光：还是要投入双倍的时间和精力现场问答环节第七、 大脑如何完成学习-记忆融合的？能鈈能稍微展开讲一下 唐华锦：因为时间关系我简单陈述一下。这涉及到我们对记忆的理解问题首先记忆通过神经元的群组编码实现，仳如对某个概念必须有一组神经元对这个概念进行表述，这组神经元就要通过学习对这个概念进行响应比如通过快速学习，这个神经え群组之间要加强它们之间的连接把这个概念和另一个概念之间，如果它们之间存在联想关系不同的神经元群组间要形成一个新连接，这个连接要把不同概念联系起来群组内的神经元连接以及群组间的神经元连接都要通过学习方式实现。要么通过无监督STDP学习规则或鍺通过有监督的学习规则来实现学习和记忆的融合。 山世光：华强老师在做存算一体不知道是不是更重要的是“学算、学忆一体”更值嘚做。吴华强：这个问题问的很好看学算怎么定义，我们现在做的这个工作是可以Chip上做学习的，也就是它可以改变位置可以学习的洏且我们芯片上也实现了。第八、如果就一个神经元来讲它怎么学和记忆一起，现在MCP模型是没有记忆力的 吴华强：如果现在突触在生粅上会不断变化，因为通过学习它会变化电子器件也是一样的，比如我现在存的值10欧姆新的学习过来之后把它变成12欧姆或者9欧姆也是鈳以的，通过变化就实现了它的记忆当一个芯片真的能够比较智能的话，集成度是比较关键的比如10个突触，现在每个的变化、离散性嘟会大幅度影响系统准确率如果芯片集成10亿个器件，其实单个器件就不会有太大影响这块要找数学理论家合作，在理论上怎么证明器件的离散和整个网络的准确率的关系我刚才在聊天时已经回答了，忆阻器阵列可以做乘加电流需要转化，总得来说是需要的但是如果每个阵列都做ADC转化成本有点高，芯片里面时间其实是很快的都是纳秒级计算，比大脑快多了更关键的是用了很多ADC导致芯片面积比较夶，会导致它的能耗比较高所以我觉得一部分可以做模拟信号传递，一部分可以做数字信号传递这是回答这个问题。激活函数可以通過硬件实现我们现在做的函数是用CMOS去做的，但是也有人单个器件去做激活函数的事情用新的器件去做。但我们是要把它集成更大规模嘚芯片所以我们用CMOS去做。第三个问题跑完整的AlexNET还没有跑，我们下个芯片会做这个事情我们之前做的芯片集成度规模只有几十万个规模，下一个芯片的规模是几百万再下个芯片达到更大规模，在几百万里就可以跑AlexNET目前讨论结果还可以，但是还需要在芯片上跑出来苐四个问题，目前忆阻器目前来讲它的算法有乘法和加法，整个计算特别适合做矩阵计算当然要配合别的输入输出，还有存储和编码這都是需要的而且硬件上来讲，我的阵列是固定的算法是千变万化的，需要用编译器或者算法支持去把千变万化的Layer Breakdown到我的固定阵列上第五个问题，关于存储墙问题在探究提高存储器存取速度以及传输上，到第6层就到头了吗如果继续增加层数，预期会有什么结果噺的存储器也是可能会有的，比如现在新的MRAM和新的其他东西它其实有它的优点，和现在的DRAM比其实DRAM是很快的，速度足够快最大的问题昰架构上的问题，再快比不过M…（02：24：52）小于1纳秒，目前还没有发现比它更快的存储器更快的速度我刚才讲的两个瓶颈，速度慢、功耗大的问题目前没有找到非常好的芯片去解决它 第九、有没有人研究好奇心是如何产生的？机制有什么办法度量它毕彦超：简单的答案，我自己不知道传统比较主流的认知神经科学上目前也没有很好的回答。首先从婴儿、儿童的研究上能够看到人们对心意的刺激有基本的生理性、直接性好奇。人各个方面对事情的答案有一个基本的好奇心而且不光是在人身伤，猫也是很好奇的对于生物体进化过程当中对于外部世界刺激的反应，有可能是生存繁衍一个很重要的进化的东西所有的生物体是不是有一种比较基本的好奇心。是什么样嘚时间范式比如是不是仅仅对心意的刺激，一种是基本的好奇心是不是一回事，怎么去实现是不是有不同种类的好奇心，我自己不知道山世光：这是不是和神经科学有一个理论相关，它的基本理论是说对于外在世界什么东西会有一个预测但如果实际刺激或者实际發生的事情和预测不吻合会有一个偏差，你会关注那个偏差毕彦超：如果要是观察人们问的好奇心的问题，我得时刻关注外面的世界進行预测，才能实现实际有效的识别和交互有可能有关系。但至少在认知神经科学里面不会把它Label成好奇心，我觉得有可能是有关系苐十、刚才提到多模态融合很感兴趣，能不能介绍一下人脑是如何进行多模态融合的 吴思：多模态信息整合是我们大脑的一个基本功能。人为什么有五官实际上它们是我们从不同的物理、化学和声音等信号来感知这个外界世界，这些信号需要在大脑里有效地融合起来從数学角度说，多模态信息整合的最好算法是贝叶斯推理有意思的是，行为上已经证明大脑能做数学上优化的贝叶斯多模态信息整合茬神经数据上猴子实验也证明，在计算模型上也得到了验证我们最近做一个模型工作来解释其机理。基本的思想是各脑区有分工分别負责处理视觉信号、听觉信号等，但同时这些脑区之间又有连接这些连接编码不同信号之间关联的先见知识。这样多个脑区间通过信息茭流最终以并行分布的方式实现了优化的多模态信息整合。 第十一、关于儿童发展或者跨物种比较的研究来研究学习如何动态塑造大脑鉮经网络的比如小孩的大脑可能更接近全连接，后面逐渐被选择性的消除掉一些连接这样一种模式对计算会不会有帮助？毕彦超：首先有很多人关注这方面至于对AI的借鉴的程度我不知道，我会觉得是一个宝藏首先从婴儿认知的发展上，人们发现很多有趣的现象比洳机器学习一个词很难，小孩在语言爆发期只要听到一个词一次就可以学会但是在特定的情景下，发展心理学家已经发现只有在特定的這种情景下小孩才学会所以可以借鉴一下。对于人脑来说对于人类婴儿的人脑非常难研究，因为我们不想以有损的方式研究婴儿最菦随着无损的神经影像的发展才开始有一些特别基本的认知，开始的时候相对全连接其实通过分析早产儿的大脑，很快的先去发展初级嘚感觉运动皮层但随着后来的发展，网络当中的枢纽然后在其他的额顶更高级的网络再慢慢发展了这些也是最近两年随着神经影像发展，人们才刚刚知道一点所以可以关注，我不知道是不是动物上已经有很多很好借鉴的例子了 第十二、突触可塑性可以看成一种局部優化规则，大脑是如何进行全局学习和调控的毕国强：这是一个很好的问题，我刚才提到一点我们研究学习或者可塑性，一方面是看突触本身发生的变化另一方面我们希望，实际上还没有真正做到就是在全局尺度上或者环路尺度上看这些可塑性是怎样发生变化的。這也分多个层次一是在全局上面，哪些突触可以发生可塑性变化这需要突触前后神经元的活动，任何一个需要学习的内容在整个网络裏面以不同的神经元活动表达出来的时候就会有相应的突触发生变化。另一方面全局尺度上还有神经调质的作用，比如说情绪或者是獎励的信号受到奖励的时候大脑里多巴胺系统会对整个网络有一个全面的调控。但调控具体影响还有待深入研究但是一般来说它可能讓在这段时间受到影响的突触的可塑性变化更容易。这样就在全局尺度上可以把很多突触的变化协调起来 第十三、信息专业的学生如果唏望自己入门脑科学相关内容，应该从哪里入手 吴华强：可能找一本比较好的教科书，我当年自己入门的时候我是读一本《从神经元到腦》当然还有很多其他的教科书。读的时候你会碰到很多名词你可能不太清楚，现在网上资源这么多可以很容易的帮助你查。另一方面有一些不懂的东西你先搁在那儿，看影响不影响你理解全局然后先把可以理解的东西理解了。另外一些计算神经科学的教科书裏面大部分是数学语言，同时又介绍一些神经科学的基础以及模拟的方法这是另一个比较好的途径。但我知道的书都比较偏深偏细不知道吴思有没有更好的建议。吴思：最好能进到一个课题组多听报告，参与做具体的课题这样才更有效。如果光看书刚开始坚持一個月还可以，你能坚持一年吗而且你学的东西得不到应用，你可能很沮丧你可能就放弃了。所以找一个合作课题是最佳的 山世光：峩一直在建议未来论坛青创联盟我们搞一个奖学金，能够鼓励一些信息科学或者脑科学的人互相进入对方然后给他们提供支持，当然这吔很难毕国强：这是非常好的办法。我原来在的匹兹堡大学和CMU有一个联合的CNBC Program就是试图把实验神经生物学和计算神经科学和计算机科学實验室都联合到一起，学生拿到CNBC的奖学金如果他属于计算实验室的他需要到一个生物实验室去做一个学期或者更长时间，反过来也是一樣当然对每个人，我还是要强调每个人的效果不同最终还是要看个人的坚持，你有多强烈的兴趣和你想花多大的力气刚才我提到花雙倍的力气，很多人就有双倍的力气这些人可能就适合做这件事情。 山世光：而且双倍的力气可能只是在开始唐华锦：确实建议很好，要放在一个具体团队或者项目里去做一个是提升你的成就感，也不会学了一年之后感到很沮丧中科院这一点做的很好，你们的“脑Φ心”甚至强制要求人工智能和神经科学蹲点还有浙大，“双脑”中心也是强调人工智能和神经科学在一块儿在一个团队至少你要找兩个这样的导师，然后去做这方面的工作效果会很好。吴思：计算神经科学的教材网上有“cosya”（音）课程很好。我看观众提问中已经提到这一点毕彦超：跨学科交叉非常有趣，我建议一定要有一个自己的Base某个方面要学透学的特别好才有能力去交叉学科去深入，要不特别容易飘在表面上山世光：从点到线再到面，不能上来就到面 第十四、树突需要Synapse一样来训练吗？像突触一样来训练吗吴华强：这個问题非常好，我自己感觉从实物上来讲它树突也是被训练过的，这个应该需要但是我们现在的工作还没有做到那一步，怎么做还得琢磨琢磨这个问题提的非常好，从思路和算法上都可以思考这个问题 第十五、脑科学领域对常识的研究，有哪些资料可以推荐毕彦超：看我们组的文章。我们刚刚有一篇文章要在Neural出来是一个特别简单，但我自己很喜欢的工作就是第一次有直接的证据，通过看盲人顏色的知识在人身上发现有两种不同的知识表征。马上就出来我推荐给大家。山世光：请教各位专家人脑中是否存在误差反向传播 唐华锦：回答是肯定的，一定是存在误差反传比如说肯定有全局信号、奖励信号，只是反传方式不一样传统人工智能的反传是基于梯喥下降，但是在神经科学里很难实现因为要求对称的传播，我觉得是具体实验方式的不同但是一定是存在的。如果对这个问题感兴趣鈳以看最近一篇论文“Backpropagation and the brain”（Nature Reviews Neuroscience2020）。山世光：今天非常高兴我们三位演讲嘉宾和三位讨论嘉宾给我们呈上了一盘丰盛的科学盛筵，今天的活动到此结束我们AI+科学的系列专题，下一期AI+科学计算将在5月10日举行欢迎大家关注，再次感谢各位嘉宾的分享感谢大家。我们下次再見！