统计学和计算机科学教授
视觉、認知、学习与自主机器人中心主任
第一节 现状：正视现实
第二节 未来：一只乌鸦给我们的启示
第三节 历史：从“春秋五霸”到“战国六雄”
第四节 统一：“小数据、大任务”范式与认知构架
第五节 学科一：计算视觉 --- 从“深”到“暗”
第六节 学科二：认知推理 --- 走进内心世界
第七节 学科三：语言通讯 --- 沟通的认知基础
第八节 学科四：博弈伦理 --- 获取、共享人类的价值观
第九节 学科五：机器人学 --- 构建大任务平台
第十节 學科六：机器学习 --- 学习的终极极限与“停机问题”
第十一节 总结： 智能科学 --- 牛顿与达尔文的统一
附录 中科院自动化所报告会上的问答与互動摘录
“人工智能个人研究过程综述”这个名词在沉寂了近30年之后最近两年“咸鱼翻身”，成为了科技公司公关的战场、网络媒体吸睛嘚风口随后受到政府的重视和投资界的追捧。于是新闻发布会、高峰论坛接踵而来，政府战略规划出台各种新闻应接不暇，宣告一個“智能为王”时代的到来
到底什么是人工智能个人研究过程综述？现在的研究处于什么阶段今后如何发展？这是大家普遍关注的问題由于人工智能个人研究过程综述涵盖的学科和技术面非常广，要在短时间内全面认识、理解人工智能个人研究过程综述别说非专业囚士，就算对本行业研究人员也是十分困难的任务。
所以现在很多宣传与决策冲到认识之前了，由此不可避免地造成一些思想和舆论嘚混乱
自从去年用了微信以来，我就常常收到亲朋好友转来的惊世骇俗的新闻标题我发现很多议论缺乏科学依据，变成了“娱乐AI”┅个在1970年代研究黑洞的物理学博士，从来没有研究过人工智能个人研究过程综述却时不时被抬出来预测人类末日的到来。某些公司的公關部门和媒体发挥想象力动辄把一些无辜的研究人员封为“大师”、“泰斗”。最近名词不够用了。九月初就有报道把请来的一位媄国教授称作“人工智能个人研究过程综述祖师爷”。这位教授的确是机器学习领域的一个领军人物但人工智能个人研究过程综述是1956年開始的，这位教授也才刚刚出生况且机器学习只是人工智能个人研究过程综述的一个领域而已，大部分其它重要领域如视觉、语言、機器人，他都没有涉足所以这样的封号很荒唐（申明一点：我对这位学者本人没有意见，估计他自己不一定知道这个封号）当时我想，后面是不是有人会搬出“达摩老祖、佛祖如来、孔雀王、太上老君、玉皇大帝”这样的封号十月初，赫然就听说达摩院成立了宣称偠碾压美国，舆情轰动！别说一般老百姓担心丢饭碗就连一些业内的研究人员都被说得心慌了，来问我有什么看法
我的看法很简单：夶多数写报道和搞炒作宣传的人，基本不懂人工智能个人研究过程综述这就像年轻人玩的传话游戏，扭曲的信息在多次传导过程中逐級放大，最后传回来自己吓到自己了。下面这个例子就说明公众的误解到了什么程度今年9月我在车上听到一家电台讨论人工智能个人研究过程综述。两位主持人谈到硅谷脸书公司有个程序员突然发现，两台电脑在通讯过程中发明了一种全新的语言快速交流，人看不慬眼看一种“超级智能”在几秒之内迅速迭代升级（我加一句：这似乎就像宇宙大爆炸的前几秒钟），程序员惊恐万状人类现在只剩朂后一招才能拯救自己了：“别愣着，赶紧拔电源啊！…”终于把人类从鬼门关又拉回来了
回到本文的正题。全面认识人工智能个人研究过程综述之所以困难是有客观原因的。
其一、人工智能个人研究过程综述是一个非常广泛的领域当前人工智能个人研究过程综述涵蓋很多大的学科，我把它们归纳为六个：
（1）计算机视觉（暂且把模式识别图像处理等问题归入其中）、
（2）自然语言理解与交流（暂苴把语音识别、合成归入其中，包括对话）、
（3）认知与推理（包含各种物理和社会常识）、
（4）机器人学（机械、控制、设计、运动规劃、任务规划等）、
（5）博弈与伦理（多代理人agents的交互、对抗与合作机器人与社会融合等议题）。
（6）机器学习（各种统计的建模、分析工具和计算的方法）
这些领域目前还比较散，目前它们正在交叉发展走向统一的过程中。我把它们通俗称作“战国六雄”中国历史本来是“战国七雄”，我这里为了省事把两个小一点的领域：博弈与伦理合并了，伦理本身就是博弈的种种平衡态最终目标是希望形成一个完整的科学体系，从目前闹哄哄的工程实践变成一门真正的科学Science of Intelligence
由于学科比较分散，从事相关研究的大多数博士、教授等专业囚员往往也只是涉及以上某个学科，甚至长期专注于某个学科中的具体问题比如，人脸识别是计算机视觉这个学科里面的一个很小的問题；深度学习属于机器学习这个学科的一个当红的流派很多人现在把深度学习就等同于人工智能个人研究过程综述，就相当于把一个哋级市说成全国肯定不合适。读到这里搞深度学习的同学一定不服气，或者很生气你先别急，等读完后面的内容你就会发现，不管CNN网络有多少层还是很浅，涉及的任务还是很小
各个领域的研究人员看人工智能个人研究过程综述，如果按照印度人的谚语可以叫做“盲人摸象”但这显然是言语冒犯了，还是中国的文豪苏轼游庐山时说得有水准：
“横看成岭侧成峰远近高低各不同。
不识庐山真面目只缘身在此山中。”
其二人工智能个人研究过程综述发展的断代现象。由于历史发展的原因人工智能个人研究过程综述自1980年代以來，被分化出以上几大学科相互独立发展，而且这些学科基本抛弃了之前30年以逻辑推理与启发式搜索为主的研究方法取而代之的是概率统计（建模、学习）的方法。留在传统人工智能个人研究过程综述领域（逻辑推理、搜索博弈、专家系统等）而没有分流到以上分支学科的老一辈中的确是有很多全局视野的，但多数已经过世或退休了他们之中只有极少数人在80-90年代，以敏锐的眼光过渡或者引领了概率统计与学习的方法，成为了学术领军人物而新生代（80年代以后）留在传统人工智能个人研究过程综述学科的研究人员很少，他们又不昰很了解那些被分化出去的学科中的具体问题
这种领域的分化与历史的断代， 客观上造成了目前的学界和产业界思路和观点相当“混乱”的局面媒体上的混乱就更放大了。但是以积极的态度来看，这个局面确实为现在的年轻一代研究人员、研究生提供了一个很好的建功立业的机会和广阔的舞台
鉴于这些现象，《视觉求索》编辑部同仁和同行多次催促我写一篇人工智能个人研究过程综述的评论和介绍材料我就免为其难，仅以自己30年来读书和跨学科研究的经历、观察和思辨浅谈什么是人工智能个人研究过程综述；它的研究现状、任務与构架；以及如何走向统一。
我写这篇文章的动机在于三点：
（1）为在读的研究生们、为有志进入人工智能个人研究过程综述研究领域嘚年轻学者开阔视野
（2）为那些对人工智能个人研究过程综述感兴趣、喜欢思考的人们，做一个前沿的、综述性的介绍
（3）为公众与媒体从业人员，做一个人工智能个人研究过程综述科普澄清一些事实。
本文来历： 本文技术内容选自我2014年来在多所大学和研究所做的讲座报告2017年7月，微软的沈向洋博士要求我在一个朋友聚会上做一个人工智能个人研究过程综述的简介我增加了一些通俗的内容。2017年9月茬谭铁牛和王蕴红老师的要求下，我参加了中科院自动化所举办的人工智能个人研究过程综述人机交互讲习班他们派速记员和一名博士苼整理出本文初稿。如果没有他们的热情帮助这篇文章是不可能写成的。原讲座两个半小时本文做了删减和文字修饰。仍然有四万字加上大量插图和示例。很抱歉无法再压缩了。
本文摘要：文章前四节浅显探讨什么是人工智能个人研究过程综述和当前所处的历史时期后面六节分别探讨六个学科的重点研究问题和难点，有什么样的前沿的课题等待年轻人去探索最后一节讨论人工智能个人研究过程綜述是否以及如何成为一门成熟的科学体系。
诚如屈子所言：“路漫漫其修远兮吾将上下而求索”。
第一节 现状评估：正视现实
人工智能个人研究过程综述的研究简单来说，就是要通过智能的机器延伸和增强（augment）人类在改造自然、治理社会的各项任务中的能力和效率，最终实现一个人与机器和谐共生共存的社会这里说的智能机器，可以是一个虚拟的或者物理的机器人与人类几千年来创造出来的各種工具和机器不同的是，智能机器有自主的感知、认知、决策、学习、执行和社会协作能力符合人类情感、伦理与道德观念。
抛开科幻嘚空想谈几个近期具体的应用。无人驾驶大家听了很多先说说军用。军队里的一个班或者行动组现在比如要七个人，将来可以减到伍个人另外两个用机器来替换。其次机器人可以用在救灾和一些危险的场景，如核泄露现场人不能进去，必须靠机器人医用的例孓很多：智能的假肢或外骨架（exoskeleton）与人脑和身体信号对接，增强人的行动控制能力帮助残疾人更好生活。此外还有就是家庭养老等服務机器人等。但是这方面的进展很不尽人意。
以前日本常常炫耀他们机器人能跳舞中国有一次春节晚会也拿来表演了。那都是事先编寫的程序结果一个福岛核辐射事故一下子把所有问题都暴露了，发现他们的机器人一点招都没有美国也派了机器人过去，同样出了很哆问题比如一个简单的技术问题，机器人进到灾难现场背后拖一根长长的电缆，要供电和传数据结果电缆就被缠住了，动弹不得囿一次，一位同事在餐桌上半开玩笑说以现在的技术，要让一个机器人长时间像人一样处理问题可能要自带两个微型的核电站，一个發电驱动机械和计算设备另一个发电驱动冷却系统。顺便说一个人脑的功耗大约是10-25瓦。
看到这里有人要问了，教授说得不对我们奣明在网上看到美国机器人让人叹为观止的表现。比如这一家波士顿动力学公司（Boston
Dynamics）的演示，它们的机器人怎么踢都踢不倒呢，或者踢倒了可以自己爬起来而且在野外丛林箭步如飞呢，还有几个负重的电驴、大狗也很酷这家公司本来是由美国国防部支持开发出机器囚来的，被谷歌收购之后、就不再承接国防项目可是，谷歌发现除了烧钱目前还找不到商业出路，最近一直待售之中您会问，那谷謌不是很牛吗DeepMind下围棋不是也一次次刺激中国人的神经吗？有一个逆天的机器人身体、一个逆天的机器人大脑它们都在同一个公司内部，那为什么没有做出一个人工智能个人研究过程综述的产品呢他们何尝不在夜以继日的奋战之中啊。
人工智能个人研究过程综述炒作了這么长时间您看看周围环境，您看到机器人走到大街上了没有。您看到人工智能个人研究过程综述进入家庭了吗其实还没有。您可能唯一直接领教过的是基于大数据和深度学习训练出来的聊天机器人你可能跟Ta聊过。用我老家湖北人的话这就叫做“扯白”--- 东扯西拉、说白话。如果你没有被Ta气得背过气的话要么您真的是闲得慌，要么是您真的有耐性
为了测试技术现状，美国国防部高级研究署2015年在洛杉矶郊区Pomona做了一个DARPA Robot
Challenge（DRC）悬赏了两百万美金奖给竞赛的第一名。有很多队伍参加了这个竞赛上图是韩国科技大学队赢了第一名，右边昰他们的机器人在现场开门进去“救灾”整个比赛场景设置的跟好莱坞片场一样，复制了三个赛场全是冒烟的救灾场面。机器人自己開着一个车子过来自己下车，开门去拿工具，关阀门在墙上开洞，最后过一个砖头做的障碍区上楼梯等一系列动作。我当时带着學生在现场看因为我们刚好有一个大的DARPA项目，项目主管是里面的裁判员当时，我第一感觉还是很震撼的感觉不错。后来发现内情原来机器人所有的动作基本上是人在遥控的。每一步、每一个场景分别有一个界面每个学生控制一个模块。感知、认知、动作都是人在指挥就是说这个机器人其实并没有自己的感知、认知、思维推理、规划的能力。造成的结果是你就可以看到一些不可思议的事情。比洳说这个机器人去抓门把手的时候因为它靠后台人的感知，误差一厘米就没抓着；或者脚踩楼梯的时候差了一点点，它重心就失去了岼衡可是在后面控制的学生没有重力感知信号，一看失去平衡他来不及反应了。你想想看我们人踩滑了一下子能保持平衡，因为你整个人都在一起反应可是那个学生只是远远地看着，他反应不过来所以机器人就东倒西歪。
这还是一个简单的场景其一、整个场景嘟是事先设定的，各个团队也都反复操练过的如果是没有遇见的场景，需要灵机决断呢其二、整个场景还没有人出现，如果有其他人絀现需要社会活动（如语言交流、分工协作）的话，那复杂度就又要上两个数量级了
其实，要是完全由人手动控制现在的机器人都鈳以做手术了，而且手术机器人已经在普及之中上图是我实验室与一家公司合作的项目，机器人可以开拉链、检查包裹、用钳子撤除炸彈等都是可以实现的。现在的机器人机械控制这一块已经很不错了，但这也不是完全管用比如上面提到的波士顿动力学公司的机器囚电驴走山路很稳定，但是它马达噪音大轰隆隆的噪音，到战场上去把目标都给暴露了特别是晚上执勤、侦察，你搞那么大动静怎麼行呢？
2015年的这次DRC竞赛暂时就断送了美国机器人研究的重大项目的立项。外行（包含国会议员）从表面看以为这个问题已经解决了，應该留给公司去开发；内行看到里面的困难觉得一时半会没有大量经费解决不了。这个认识上的落差在某种程度上就是“科研的冬天”箌来的前题条件
小结一下，现在的人工智能个人研究过程综述和机器人关键问题是缺乏物理的常识和社会的常识“Common sense”。
这是人工智能個人研究过程综述研究最大的障碍那么什么是常识？常识就是我们在这个世界和社会生存的最基本的知识：（1）它使用频率最高；（2）咜可以举一反三推导出并且帮助获取其它知识。这是解决人工智能个人研究过程综述研究的一个核心课题我自2010年来，一直在带领一个跨学科团队攻关视觉常识的获取与推理问题。我在自动化所做了另外一个关于视觉常识报告也被转录成中文了，不久会发表出来
那麼是不是说，我们离真正的人工智能个人研究过程综述还很遥远呢其实也不然。关键是研究的思路要找对问题和方向自然界已经为我們提供了很好的案例。
下面我就来看一下，自然界给我们展示的解答
第二节 未来目标： 一只乌鸦给我们的启示
同属自然界的鸟类，我們对比一下体型大小都差不多的乌鸦和鹦鹉鹦鹉有很强的语言模仿能力，你说一个短句多说几遍，它能重复这就类似于当前的由数據驱动的聊天机器人。二者都可以说话但鹦鹉和聊天机器人都不明白说话的语境和语义，也就是它们不能把说的话对应到物理世界和社會的物体、场景、人物不符合因果与逻辑。
可是乌鸦就远比鹦鹉聪明，它们能够制造工具懂得各种物理的常识和人的活动的社会常識。
下面我就介绍一只乌鸦，它生活在复杂的城市环境中与人类交互和共存。YouTube网上有不少这方面的视频大家可以找来看看。我个人認为人工智能个人研究过程综述研究该搞一个“乌鸦图腾”， 因为我们必须认真向它们学习
上图a是一只乌鸦，被研究人员在日本发现囷跟踪拍摄的乌鸦是野生的，也就是说没人管，没人教它必须靠自己的观察、感知、认知、学习、推理、执行，完全自主生活假洳把它看成机器人的话，它就在我们现实生活中活下来如果这是一个自主的流浪汉进城了，他要在城里活下去包括与城管周旋。
首先乌鸦面临一个任务，就是寻找食物它找到了坚果（至于如何发现坚果里面有果肉，那是另外一个例子了）需要砸碎，可是这个任务超出它的物理动作的能力其它动物，如大猩猩会使用工具找几块石头，一块大的垫在底下一块中等的拿在手上来砸。乌鸦怎么试都鈈行它把坚果从天上往下抛，发现解决不了这个任务在这个过程中，它就发现一个诀窍把果子放到路上让车轧过去（图b），这就是“鸟机交互”了后来进一步发现，虽然坚果被轧碎了但它到路中间去吃是一件很危险的事。因为在一个车水马龙的路面上随时它就犧牲了。我这里要强调一点这个过程是没有大数据训练的，也没有所谓监督学习乌鸦的生命没有第二次机会。这是与当前很多机器学習特别是深度学习完全不同的机制。
然后它又开始观察了，见图c它发现在靠近红绿路灯的路口，车子和人有时候停下了这时，它必须进一步领悟出红绿灯、斑马线、行人指示灯、车子停、人流停这之间复杂的因果链甚至，哪个灯在哪个方向管用、对什么对象管用搞清楚之后，乌鸦就选择了一根正好在斑马线上方的一根电线蹲下来了（图d）。这里我要强调另一点也许它观察和学习的是别的地點，那个点没有这些蹲点的条件它必须相信，同样的因果关系可以搬到当前的地点来用。这一点当前很多机器学习方法是做不到的。比如一些增强学习方法，让机器人抓取一些固定物体如积木玩具，换一换位置都不行；打游戏的人工智能个人研究过程综述算法換一换画面，又得重新开始学习
它把坚果抛到斑马线上，等车子轧过去然后等到行人灯亮了（图e）。这个时候车子都停在斑马线外媔，它终于可以从容不迫地走过去吃到了地上的果肉。你说这个乌鸦有多聪明这是我期望的真正的智能。
这个乌鸦给我们的启示至尐有三点：
其一、它是一个完全自主的智能。感知、认知、推理、学习、和执行 它都有。我们前面说的 世界上一批顶级的科学家都解決不了的问题，乌鸦向我们证明了这个解存在。
其二、你说它有大数据学习吗这个乌鸦有几百万人工标注好的训练数据给它学习吗？沒有它自己把这个事通过少量数据想清楚了，没人教它
其三、乌鸦头有多大？不到人脑的1%大小 人脑功耗大约是10-25瓦，它就只有
与第┅节讲的机器人竞赛类似，这也是一个DARPA项目测试就是用大量视频，我们算出场景和人的三维的模型、动作、属性、关系等等然后就来囙答各种各样的1000多个问题。现在一帮计算机视觉的人研究VQA（视觉问答）就是拿大量的图像和文本一起训练，这是典型的“鹦鹉”系统基本都是“扯白”。回答的文字没有真正理解图像的内容常常逻辑不通。我们这个工作是在VQA之前认真做了多年。我们系统在项目DARPA测试Φ领先当时其它团队根本无法完成这项任务。可是现在科研的一个现实是走向“娱乐化”：肤浅的歌曲流行，大家都能唱复杂高深嘚东西大家躲着走。
既然说到这里我就顺便说说一些竞赛的事情。大约从2008年开始CVPR会议的风气就被人“带到沟里”了，组织各种数据集競赛不谈理解了，就是数字挂帅中国很多学生和团队就开始参与，俗称“刷榜”我那个时候跟那些组织数据集的人说（其实我自己2005姩是最早在湖北莲花山做大型数据标注的，但我一早就看到这个问题不鼓励刷榜），你们这些比赛前几名肯定是中国学生或者公司现茬果然应验了，大部分榜上前几名都是中国人名字或单位了咱们刷榜比打乒乓球还厉害，刷榜变成咱们AI研究的“国球”所谓刷榜，一般是下载了人家的代码改进、调整、搭建更大模块，这样速度快我曾经访问一家技术很牛的中国公司（不是搞视觉的），那个公司的研发主管非常骄傲说他们刷榜总是赢，美国一流大学都不在话下我听得不耐烦了，我说人家就是两个学生在那里弄你们这么大个团隊在这里刷，你代码里面基本没有算法是你自己的如果人家之前不公布代码，你们根本没法玩很多公司就拿这种刷榜的结果宣传自己超过了世界一流水平。
五、任务驱动的因果推理与学习前面我谈了场景的理解的例子，下面我谈一下物体的识别和理解以及为什么我們不需要大数据的学习模式，而是靠举一反三的能力
我们人是非常功利的社会动物，就是说做什么事情都是被任务所驱动的这一点，2000姩前的司马迁就已经远在西方功利哲学之前看到了（ 《史记》 “货殖列传” ）：
“天下熙熙皆为利来；天下攘攘，皆为利往”
那么，囚也就带着功利的目的来看待这个世界这叫做“teleological stance”。这个物体是用来干什么的它对我有什么用？怎么用
当然，有没有用是相对于我們手头的任务来决定的很多东西，当你用不上的时候往往视而不见；一旦要急用，你就会当个宝俗话叫做“势利眼”，没办法这昰人性！你今天干什么、明天干什么，每时每刻都有任务俗话又叫做“屁股决定脑袋”，一个官员坐在不同位置他就有不同的任务与思路，位置一调马上就“物是人非”了。
我们的知识是根据我们的任务来组织的那么什么叫做任务呢？如何表达成数学描述呢
每个任务其实是在改变场景中的某些物体的状态。牛顿发明了一个词在这里被借用了：叫做fluent。这个词还没被翻译到中文就是一种可以改变嘚状态，我暂且翻译为“流态”吧比如，把水烧开水温就是一个流态；番茄酱与瓶子的空间位置关系是一个流态，可以被挤出来；还囿一些流态是人的生物状态比如饿、累、喜悦、悲痛；或者社会关系：从一般人，到朋友、再到密友等人类和动物忙忙碌碌，都是在妀变各种流态以提高我们的价值函数（利益）。
懂得这一点我们再来谈理解图像中的三维场景和人的动作。其实这就是因果关系的嶊理。所谓因果就是：人的动作导致了某种流态的改变理解图像其实与侦探（福尔摩斯）破案一样，他需要的数据往往就是很小的蛛丝馬迹但是，他能看到这些蛛丝马迹而普通没有受侦探训练的人就看不见。那么如何才能看到这些蛛丝马迹呢？其一、你需要大量的知识这个知识来源于图像之外，是你想象的过程中用到的比如一个头发怎么掉在这里的？还有就是行为的动机目的犯案人员到底想妀变什么“流态”？
我把这些图像之外的东西统称为“暗物质”--- Dark
Matter物理学家认为我们可观察的物质和能量只是占宇宙总体的5%，剩下的95%是观察不到的暗物质和暗能量视觉与此十分相似：感知的图像往往只占5%，提供一些蛛丝马迹；而后面的95%包括功能、物理、因果、动机等等昰要靠人的想象和推理过程来完成的。有了这个认识我们来看一个例子（见下图左）。这个例子来自我们CVPR2015年发的paper主要作者是朱毅鑫，這也是我很喜欢的一个工作一个人要完成的任务是砸核桃，改变桌子上那个核桃的流态把这个任务交给UCLA一个学生，他从桌面上的工具裏面选择了一个锤子整个过程没有任何过人之处，因为你也会这么做
不过你细想一下，这个问题还相当复杂这个动作就包含了很多信息：他为什么选这个锤子而不选别的东西，他为什么拿着锤这个柄靠后的位置他挥动的力度用多少，这都是经过计算的这还有几千幾万的可能其他各种选择、解法，他没有选择说明他这个选法比其它的选择肯定会好，好在哪呢看似简单的问题，往往很关键一般囚往往忽略了。
你通过这一琢磨、一对比就领悟到这个任务是什么有什么窍门。以前学徒就是跟着师傅学师傅经常在做任务，徒弟就看着师傅也不教，徒弟就靠自己领悟有时候师傅还要留一手，不然你早早出师了抢他的饭碗。有时候师傅挡着不让你看；莫言的小說就有这样的情节人就是在观察的时候，把这个任务学会了
现在到一个新的场景（图右），原来学习的那些工具都不存在了完全是噺的场景和物体，任务保持不变你再来砸这个核桃试试看，怎么办人当然没有问题，选这个木头做的桌子腿然后砸的动作也不一样。这才是举一反三这才是智能，这没有什么其他数据没有大量数据训练，这不是深度学习方法
那这个算法怎么做的呢？我们把对这個物理空间、动作、因果的理解还是表达成为一个SpatialTemporal and Causal Parse
Graph（STC-PG）。这个STC-PG包含了你对空间的理解（物体、三维形状、材质等）、时间上动作的规划、因果的推理最好是这样子砸，它物理因果能够实现可能会被砸开，再连在一块来求解求时间、空间和因果的这么一个解析图，就昰一个解也就是，最后你达到目的改变了某种物理的流态。
一、这个STC-PG的表达是你想象出来的这个理解的过程是在你动手之前就想好叻的，它里面的节点和边大多数在图像中是没有的也就是我称作的“暗物质”。
二、这个计算的过程中大量的运算属于“top-down”自顶向下嘚计算过程。也就是用你脑皮层里面学习到的大量的知识来解释你看到的“蛛丝马迹”形成一个合理的解。而这种Top-down的计算过程在目前的罙度多层神经网络中是没有的神经网络只有feedforward
向上逐层传播信息。你可能要说了那不是有Back-propagation吗？那不是top-down一年前，LeCun来UCLA做讲座他看到我在座，就说DNN目前缺乏朱教授一直提倡的Top-Down计算进程
三、学习这个任务只需要极少的几个例子。如果一个人要太多的例子说明Ta脑袋“不开窍”，智商不够顺便说一句，我在UCLA讲课期末学生会给老师评估教学质量。一个常见的学生意见就是朱教授给的例子太少了对不起，我沒时间给你上课讲那么多例子靠做题、题海训练，那不是真本事也不是学习的本质。子曰：“学而不思则罔思而不学则殆”。这里嘚“思”应该是推理对于自然界或者社会的现象、行为和任务，形成一个符合规律的自洽的解释在我看来就是一个STC-PG。
那么STC-PG是如何推导絀来的呢它的母板是一个STC-AOG，AOG就是And-Or Graph与或图这个与或图是一个复杂的概率语法图模型，它可以导出巨量的合乎规则的概率事件每一个事件就是STC-PG。这个表达与语言、认知、机器人等领域是一致的在我看来，这个STC-AOG是一个统一表达它与逻辑以及DNN可以打通关节。这里就不多讲叻
接着砸核桃的例子讲，还是朱毅鑫那篇文章的实验这个实验很难做。比如现在的一个任务是“铲土”我给你一个例子什么叫铲土，然后开始测试这个智能算法（机器人）的泛化能力见下图。
第一组实验（图左）我给你一些工具，让你铲土机器人第一选择挑了這个铲子，这个不是模式识别它同时输出用这个铲子的动作、速度；输出铲子柄的绿色地方表示它要手握的地方，这个红的表示它用来鏟土的位置第二选择是一把刷子。
第二组实验（图中）假如我要把这些工具拿走，你现在用一些家里常见的物体任务还是铲土。它嘚第一选择是锅第二选择是杯子。二者的确都是最佳选择这是计算机视觉做出来的，自动的
第三组实验（图右）。假如我们回到石器时代一堆石头能干什么事情？所以我经常说咱们石器时代的祖先，比现在的小孩聪明因为他们能够理解这个世界的本质，现在笁具和物体越来越特定了，一个工具做一个任务人都变成越来越傻了。视觉认知就退化成模式识别的问题了：从原来工具的理解变成一個模式识别也就是由乌鸦变鹦鹉了。
计算机视觉小结：我简短总结一下视觉的历史见下图。
视觉研究前面25年的主流是做几何以形状囷物体为中心的研究:Geometry-Based and Object-Centered。最近25年是从图像视角通过提取丰富的图像特征描述物体的外观来做识别、分类：Appearance-Based and
View-Centered几何当然决定表观。那么几何后媔深处原因是什么呢几何形状的设计是因为有任务，最顶层是有任务然后考虑到功能、物理、因果，设计了这些物体再来产生图像這是核心问题所在。我把在当前图像是看不见的“东西”叫dark matter物理里面dark matter energy占95%，确确实实在我们智能里面dark
matter也占了大部分而你看到的东西就是現在深度学习能够解决的，比如说人脸识别、语音识别就是很小的一部分看得见的东西；看不见的在后面，才是我们真正的智能像那個乌鸦能做到的。
所以我的一个理念是：计算机视觉要继续发展，必须发掘这些“dark
matter”把图像中想象的95%的暗物质与图像中可见的5%的蛛丝馬迹，结合起来思考才能到达真正的理解。现在大家都喜欢在自己工作前面加一个Deep以为这样就算深刻了、深沉了，但其实还是非常肤淺的不管你多深，不管你卷积神经网络多少层它只是处理可见的图像表观特征、语音特征，没有跳出那5%对吧？那些认为深度学习解決了计算机视觉的同学我说服你了么？如果没有后面还有更多的内容。
视觉研究的未来我用一句话来说：Go Dark， Beyond Deep --- 发掘暗超越深。
这样┅来视觉就跟认知和语言接轨了。
