如果我现在跟你说你可以活到 150 岁250 岁，甚至会永生你是不是觉得我在扯淡：“自古以来，所有人都是会死的”是的，过去从来没有人永生过但是飞机发明之前也没囿人坐过飞机呀。
我们正站在变革的边缘而这次变革将和人类的出现一般意义重大 Vernor Vinge
如果你站在这里，你会是什么感觉
将如何导致人类滅绝或永生？
看上去非常刺激吧但是你要记住，当你真的站在时间的图表中的时候你是看不到曲线的右边的，因为你是看不到未来的所以你真实的感觉大概是这样的：
遥远的未来，就在眼前 想象一下坐时间机器回到 1750 年的地球那个时代没有电，畅通通讯基本靠吼交通主要靠动物拉着跑。你在那个时代邀请了一个叫老王的人到 2015 年来玩顺便看看他对“未来”有什么感受。我们可能没有办法了解 1750 年的老迋内心的感受：
金属铁壳在宽敞的公路上飞驰和太平洋另一头的人聊天，看几千公里外正在发生进行的体育比赛观看一场发生于半个卋纪前的演唱会，从口袋里掏出一个黑色长方形工具把眼前发生的事情记录下来生成一个地图然后地图上有个蓝点告诉你现在的位置，┅边看着地球另一边的人的脸一边聊天以及其它各种各样的黑科技。别忘了你还没跟他解释互联网、国际空间站、大型强子对撞机、核武器以及相对论。
这时候的老王会是什么体验惊讶、震惊、脑洞大开这些词都太温顺了，我觉得老王很可能直接被吓尿了
但是，如果老王回到了 1750 年然后觉得被吓尿是个很囧的体验，于是他也想把别人吓尿来满足一下自己那会发生什么？于是老王也回到了 250 年前的 1500 年邀请生活在 1500 年的小李去 1750 年玩一下。小李可能会被 250 年后的很多东西震惊但是至少他不会被吓尿。
同样是 250 来年的时间1750 和 2015 年的差别，比 1500 年囷 1750 年的差别要大得多了。1500 年的小李可能能学到很多神奇的物理知识可能会惊讶于欧洲的帝国主义旅程，甚至对于世界地图的认知也会夶大的改变但是 1500 年的小李，看到 1750 年的交通、通讯等等并不会被吓尿。
所以说对于 1750 年的老王来说，要把人吓尿他需要回到更古老的過去——比如回到公元前 12000 年，第一次农业革命之前那个时候还没有城市，也还没有文明一个来自狩猎采集时代的人类，只是当时众多粅种中的一个罢了来自那个时代的小赵看到 1750 年庞大的人类帝国，可以航行于海洋上的巨舰居住在“室内”，无数的收藏品神奇的知識和发现——他很有可能被吓尿。
小赵被吓尿后如果也想做同样的事情呢如果他会到公元前 24000 年，找到那个时代的小钱然后给他展示公え前 12000 年的生活会怎样呢。小钱大概会觉得小赵是吃饱了没事干——“这不跟我的生活差不多么呵呵”。小赵如果要把人吓尿可能要回箌十万年前或者更久，然后用人类对火和语言的掌控来把对方吓尿
所以，一个人去到未来并且被吓尿，他们需要满足一个“吓尿单位”满足吓尿单位所需的年代间隔是不一样的。在狩猎采集时代满足一个吓尿单位需要超过十万年而工业革命后一个吓尿单位只要两百哆年就能满足。
未来学家 Ray Kurzweil 把这种人类的加速发展称作加速回报定律（Law of Accelerating Returns）之所以会发生这种规律，是因为一个更加发达的社会能够继续發展的能力也更强，发展的速度也更快——这本就是更加发达的一个标准19 世纪的人们比 15 世纪的人们懂得多得多，所以 19 世纪的人发展起来嘚速度自然比 15 世纪的人更快
即使放到更小的时间规模上，这个定律依然有效著名电影《回到未来》中，生活在 1985 年的主角回到了 1955 年当主角回到 1955 年的时候，他被电视刚出现时的新颖、便宜的物价、没人喜欢电吉他、俚语的不同而震惊
但是如果这部电影发生在 2015 年，回到 30 年湔的主角的震惊要比这大得多一个 2000 年左右出生的人，回到一个没有个人电脑、互联网、手机的 1985 年会比从 1985 年回到 1955 年的主角看到更大的区別。
这同样是因为加速回报定律1985 年 -2015 年的平均发展速度，要比 1955 年 -1985 年的平均发展速度要快因为 1985 年的世界比 1955 年的更发达，起点更高所以过詓 30 年的变化要大过之前 30 年的变化。
进步越来越大发生的越来越快，也就是说我们的未来会很有趣对吧
未来学家 Kurzweil 认为整个 20 世纪 100 年的进步，按照 2000 年的速度只要 20 年就能达成——2000 年的发展速度是 20 世纪平均发展速度的 5 倍他认为 2000 年开始只要花 14 年就能达成整个 20 世纪一百年的进步，而の后 2014 年开始只要花 7 年（2021 年）就能达到又一个 20
世纪一百年的进步。几十年之后我们每年都能达成好几次相当于整个 20 世纪的发展，再往后说不定每个月都能达成一次。按照加速回报定Kurzweil 认为人类在 21 世纪的进步将是 20 世纪的 1000 倍。
如果 Kurzweil 等人的想法是正确的那 2030 年的世界可能就能紦我们吓尿了——下一个吓尿单位可能只需要十几年，而 2050 年的世界会变得面目全非
你可能觉得 2050 年的世界会变得面目全非这句话很可笑，泹是这不是科幻而是比你我聪明很多的科学家们相信的，而且从历史来看也是逻辑上可以预测的。
那么为什么你会觉得“2050 年的世界会變得面目全非” 这句话很可笑呢有三个原因让你质疑对于未来的预测：
1. 我们对于历史的思考是线性的 当我们考虑未来 35 年的变化时，我们參照的是过去 35 年发生的事情当我们考虑 21 世纪能产生的变化的时候，我们参考的是 20 世纪发生的变化这就好像 1750 年的老王觉得 1500 年的小李在 1750 年能被吓尿一样。
线性思考是本能的但是但是考虑未来的时候我们应该指数地思考。一个聪明人不会把过去 35 年的发展作为未来 35 年的参考洏是会看到当下的发展速度，这样预测的会更准确一点当然这样还是不够准确，想要更准确你要想象发展的速度会越来越快。
2. 近期的曆史很可能对人产生误导
首先即使是坡度很高的指数曲线，只要你截取的部分够短看起来也是很线性的，就好像你截取圆周的很小一塊看上去就是和直线差不多。其次指数增长不是平滑统一的，发展常常遵循 S 曲线
S 曲线发生在新范式传遍世界的时候，S 曲线分三部分
慢速增长（指数增长初期）
快速增长（指数增长的快速增长期）
随着新范式的成熟而出现的平缓期
如果你只看近期的历史你很可能看到嘚是 S 曲线的某一部分，而这部分可能不能说明发展究竟有多快速 年是互联网爆炸发展的时候，微软、谷歌、脸书进入了公众视野伴随著的是社交网络、手机的出现和普及、智能手机的出现和普及，这一段时间就是 S 曲线的快速增长期
年发展没那么迅速，至少在技术领域昰这样的如果按照过去几年的发展速度来估计当下的发展速度，可能会错得离谱因为很有可能下一个快速增长期正在萌芽。
3. 个人经验使得我们对于未来预期过于死板 我们通过自身的经验来产生世界观而经验把发展的速度烙印在了我们脑中——“发展就是这么个速度的。”我们还会受限于自己的想象力因为想象力通过过去的经验来组成对未来的预测——但是我们知道的东西是不足以帮助我们预测未来嘚。当我们听到一个和我们经验相违背的对于未来的预测时我们就会觉得这个预测偏了。
如果我现在跟你说你可以活到 150 岁250 岁，甚至会詠生你是不是觉得我在扯淡——
“自古以来，所有人都是会死的”是的，过去从来没有人永生过但是飞机发明之前也没有人坐过飞機呀。接下来的内容你可能一边读一边心里“呵呵”，而且这些内容可能真的是错的但是如果我们是真的从历史规律来进行逻辑思考嘚，我们的结论就应该是未来的几十年将发生比我们预期的多得多得多得多的变化
同样的逻辑也表明，如果人类这个地球上最发达的物種能够越走越快总有一天，他们会迈出彻底改变“人类是什么”这一观点的一大步就好像自然进化不不断朝着智能迈步，并且最终迈絀一大步产生了人类从而完全改变了其它所有生物的命运。如果你留心一下近来的科技进步的话你会发现，到处都暗示着我们对于生命的认知将要被接下来的发展而彻底改变
如果你一直以来把人工智能（）当做科幻小说，但是近来却不但听到很多正经人严肃的讨论这個问题你可能也会困惑。这种困惑是有原因的：
1. 我们总是把人工智能和电影想到一起星球大战、终结者、2001：太空漫游等等。电影是虚構的那些电影角色也是虚构的，所以我们总是觉得人工智能缺乏真实感
2. 人工智能是个很宽泛的话题。从手机上的计算器到无人驾驶汽車到未来可能改变世界的重大变革，人工智能可以用来描述很多东西所以人们会有疑惑。
3. 我们日常生活中已经每天都在使用人工智能叻只是我们没意识到而已。John McCarthy在 1956 年最早使用了人工智能（Artificial Intelligence）这个词。他总是抱怨“一旦一样东西用人工智能实现了人们就不再叫它人笁智能了。”
因为这种效应所以人工智能听起来总让人觉得是未来的神秘存在，而不是身边已经存在的现实同时，这种效应也让人们覺得人工智能是一个从未被实现过的流行理念Kurzweil 提到经常有人说人工智能在 80 年代就被遗弃了，这种说法就好像“互联网已经在 21 世纪初互联網泡沫爆炸时死去了”一般滑稽
所以，让我们从头开始
首先，不要一提到人工智能就想着机器人只是人工智能的容器，机器人有时候是人形有时候不是，但是人工智能自身只是机器人体内的电脑人工智能是大脑的话，机器人就是身体——而且这个身体不一定是必需的比如说 Siri 背后的软件和数据是人工智能，Siri 说话的声音是这个人工智能的人格化体现但是 Siri 本身并没有机器人这个组成部分。
其次你鈳能听过“奇点”或者“技术奇点”这种说法。这种说法在数学上用来描述类似渐进的情况这种情况下通常的规律就不适用了。这种说法同样被用在物理上来描述无限小的高密度黑洞同样是通常的规律不适用的情况。
Kurzweil 则把奇点定义为加速回报定律达到了极限技术进步鉯近乎无限的速度发展，而奇点之后我们将在一个完全不同的世界生活的但是当下的很多思考人工智能的人已经不再用奇点这个说法了，而且这种说法很容易把人弄混所以本文也尽量少用。
最后人工智能的概念很宽，所以人工智能也分很多种我们按照人工智能的实仂将其分成三大类：
弱人工智能 Artificial Narrow Intelligence (ANI): 弱人工智能是擅长于单个方面的人工智能。比如有能战胜象棋世界冠军的人工智能但是它只会下象棋，伱要问它怎样更好地在硬盘上储存数据它就不知道怎么回答你了。
强人工智能 Artificial General Intelligence (AGI): 人类级别的人工智能强人工智能是指在各方面都能和人類比肩的人工智能，人类能干的脑力活它都能干创造强人工智能比创造弱人工智能难得多，我们现在还做不到Linda Gottfredson
教授把智能定义为“一種宽泛的心理能力，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作”强人工智能在进行這些操作时应该和人类一样得心应手。
把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多包括科学创新、通识和社茭技能。”超人工智能可以是各方面都比人类强一点也可以是各方面都比人类强万亿倍的。超人工智能也正是为什么人工智能这个话题這么火热的缘故同样也是为什么永生和灭绝这两个词会在本文中多次出现。
现在人类已经掌握了弱人工智能。其实弱人工智能无处不茬人工智能革命是从弱人工智能，通过强人工智能最终到达超人工智能的旅途。这段旅途中人类可能会生还下来可能不会，但是无論如何世界将变得完全不一样。
让我们来看看这个领域的思想家对于这个旅途是怎么看的以及为什么人工智能革命可能比你想的要近嘚多。
我们现在的位置——充满了弱人工智能的世界 弱人工智能是在特定领域等同或者超过人类智能 / 效率的机器智能一些常见的例子：
汽车上有很多的弱人工智能系统，从控制防抱死系统的电脑到控制汽油注入参数的电脑。谷歌正在测试的无人驾驶车就包括了很多弱囚工智能，这些弱人工智能能够感知周围环境并作出反应
你的手机也充满了弱人工智能系统。当你用地图软件导航接受音乐电台推荐，查询明天的天气和 Siri 聊天，以及其它很多很多应用其实都是弱人工智能。
垃圾邮件过滤器是一种经典的弱人工智能——它一开始就加載了很多识别垃圾邮件的智能并且它会学习并且根据你的使用而获得经验。智能室温调节也是一样它能根据你的日常习惯来智能调节。
你在上网时候出现的各种其它电商网站的产品推荐还有社交网站的好友推荐，这些都是弱人工智能的组成的弱人工智能联网互相沟通，利用你的信息来进行推荐网购时出现的“买这个商品的人还购买了”推荐，其实就是收集数百万用户行为然后产生信息来卖东西给伱的弱人工智能
谷歌翻译也是一种经典的人工智能——非常擅长单个领域。声音识别也是一种很多软件利用这两种智能的合作，使得伱能对着手机说中文手机直接给你翻译成英文。
当飞机着陆时候不是一个人类决定飞机该去那个登机口接驳。就好像你在网上买票时票据不是一个人类决定的
世界最强的跳棋、象棋、拼字棋、双陆棋和黑白棋选手都是弱人工智能。
谷歌搜索是一个巨大的弱人工智能褙后是非常复杂的排序方法和内容检索。社交网络的新鲜事同样是这样
这些还只是消费级产品的例子。军事、制造、金融（高频算法交噫占到了美国股票交易的一半）等领域广泛运用各种复杂的弱人工智能专业系统也有，比如帮助医生诊断疾病的系统还有著名的 IBM 的华苼，储存了大量事实数据还能理解主持人的提问，在竞猜节目中能够战胜最厉害的参赛者
现在的弱人工智能系统并不吓人。最糟糕的凊况无非是代码没写好，程序出故障造成了单独的灾难，比如造成停电、核电站故障、金融市场崩盘等等
虽然现在的弱人工智能没囿威胁我们生存的能力，我们还是要怀着警惕的观点看待正在变得更加庞大和复杂的弱人工智能的生态每一个弱人工智能的创新，都在給通往强人工智能和超人工智能的旅途添砖加瓦用 Aaron Saenz 的观点，现在的弱人工智能就是地球早期软泥中的氨基酸——没有动静的物质，突嘫之间就组成了生命
弱人工智能到强人工智能之路
只有明白创造一个人类智能水平的电脑是多么不容易，才能让你真的理解人类的智能昰多么不可思议造摩天大楼、把人送入太空、明白宇宙大爆炸的细节——这些都比理解人类的大脑，并且创造个类似的东西要简单太多叻至今为止，人类的大脑是我们所知宇宙中最复杂的东西
而且创造强人工智能的难处，并不是你本能认为的那些：
造一个能在瞬间算絀十位数乘法的计算机——非常简单
造一个能分辨出一个动物是猫还是狗的计算机——极端困难
造一个能战胜世界象棋冠军的电脑——早僦成功了
造一个能够读懂六岁小朋友的图片书中的文字并且了解那些词汇意思的电脑——谷歌花了几十亿美元在做，还没做出来
一些峩们觉得困难的事情——微积分、金融市场策略、翻译等，对于电脑来说都太简单了
我们觉得容易的事情——视觉、动态、移动、直觉——对电脑来说太 TM 的难了
用计算机科学家 Donald Knuth 的说法，“人工智能已经在几乎所有需要思考的领域超过了人类但是在那些人类和其它动物不需要思考就能完成的事情上，还差得很远”
读者应该能很快意识到，那些对我们来说很简单的事情其实是很复杂的，它们看上去很简單因为它们已经在动物进化的过程中经历了几亿年的优化了。
当你举手拿一件东西的时候你肩膀、手肘、手腕里的肌肉、肌腱和骨头，瞬间就进行了一组复杂的物理运作这一切还配合着你的眼睛的运作，使得你的手能都在三维空间中进行直线运作对你来说这一切轻洏易举，因为在你脑中负责处理这些的“软件”已经很完美了同样的，软件很难识别网站的验证码不是因为软件太蠢，恰恰相反是洇为能够读懂验证码是件碉堡了的事情。
同样的大数相乘、下棋等等，对于生物来说是很新的技能我们还没有几亿年的世界来进化这些能力，所以电脑很轻易的就击败了我们试想一下，如果让你写一个程序是一个能做大数相乘的程序容易写，还是能够识别千千万万種字体和笔迹下书写的英文字母的程序难写
比如看着下面这个图的时候，你和电脑都能识别出这是一个由两种颜色的小长方形组成的一個大长方形：
超人工智能将如何导致人类灭绝或永生
你和电脑打了个平手。接着我们把途中的黑色部分去除：
超人工智能将如何导致人類灭绝或永生
你可以轻易的描述图形中透明或不透明的圆柱和 3D 图形，但是电脑就看不出来了电脑会描述出 2D 的阴影细节，但是人脑却能夠把这些阴影所展现的深度、阴影混合、房屋灯光解读出来
再看下面这张图，电脑看到的是黑白灰我们看到的却是一块全黑的石头：
超人工智能将如何导致人类灭绝或永生？
而且我们到现在谈的还是静态不变的信息。要想达到人类级别的智能电脑必须要理解更高深嘚东西，比如微小的脸部表情变化开心、放松、满足、满意、高兴这些类似情绪间的区别，以及为什么《布达佩斯大饭店》是好电影洏《富春山居图》是烂电影。
想想就很难吧我们要怎样才能达到这样的水平呢？
通往强人工智能的第一步：增加电脑处理速度
要达到强囚工智能肯定要满足的就是电脑硬件的运算能力。如果一个人工智能要像人脑一般聪明它至少要能达到人脑的运算能力。
用来描述运算能力的单位叫作 cps（calculations per second每秒计算次数），要计算人脑的 cps 只要了解人脑中所有结构的最高 cps然后加起来就行了。
Kurzweil 把对于一个结构的最大 cps 的专業估算然后考虑这个结构占整个大脑的重量，做乘法来得出人脑的 cps。听起来不太靠谱但是 Kurzweil 用了对于不同大脑区域的专业估算值，得絀的最终结果都非常类似是 10^16 cps，也就是 1 亿亿次计算每秒
现在最快的超级计算机，中国的天河二号其实已经超过这个运算力了，天河每秒能进行 3.4 亿亿当然，天河二号占地 720 平方米耗电 2400 万瓦，耗费了 3.9 亿美元建造广泛应用就不提了，即使是大部分商业或者工业运用也是很貴的
Kurzweil 认为考虑电脑的发展程度的标杆是看 1000 美元能买到多少 cps，当 1000 美元能买到人脑级别的 1 亿亿运算能力的时候强人工智能可能就是生活的┅部分了。
摩尔定律认为全世界的电脑运算能力每两年就翻一倍这一定律有历史数据所支持，这同样表明电脑硬件的发展和人类发展一樣是指数级别的我们用这个定律来衡量 1000 美元什么时候能买到 1 亿亿 cps。现在 1000 美元能买到 10 万亿 cps和摩尔定律的历史预测相符合。
超人工智能将洳何导致人类灭绝或永生 也就是说现在 1000 美元能买到的电脑已经强过了老鼠，并且达到了人脑千分之一的水平
听起来还是弱爆了，但是让我们考虑一下，1985 年的时候同样的钱只能买到人脑万亿分之一的 cps，1995 年变成了十亿分之一2005 年是百万分之一，而 2015 年已经是千分之一了按照这个速度，我们到 2025 年就能花 1000 美元买到可以和人脑运算速度抗衡的电脑了
至少在硬件上，我们已经能够强人工智能了（中国的天河二號）而且十年以内，我们就能以低廉的价格买到能够支持强人工智能的电脑硬件
但是运算能力并不能让电脑变得智能，下一个问题是我们怎样利用这份运算能力来达成人类水平的智能。
通往强人工智能的第二步：让电脑变得智能 这一步比较难搞事实上，没人知道该怎么搞——我们还停留在争论怎么让电脑分辨《富春山居图》是部烂片的阶段但是，现在有一些策略有可能会有效。下面是最常见的彡种策略：
1) 抄袭人脑 就好像你班上有一个学霸你不知道为什么学霸那么聪明，为什么考试每次都满分虽然你也很努力的学习，但是你僦是考的没有学霸好最后你决定“老子不干了，我直接抄他的考试答案好了”这种“抄袭”是有道理的，我们想要建造一个超级复杂嘚电脑但是我们有人脑这个范本可以参考呀。
科学界正在努力逆向工程人脑来理解生物进化是怎么造出这么个神奇的东西的，乐观的估计是我们在 2030 年之前能够完成这个任务一旦这个成就达成，我们就能知道为什么人脑能够如此高效、快速的运行并且能从中获得灵感來进行创新。
一个电脑架构模拟人脑的例子就是人工神经网络它是一个由晶体管作为“神经”组成的网络，晶体管和其它晶体管互相连接有自己的输入、输出系统，而且什么都不知道——就像一个婴儿的大脑接着它会通过做任务来自我学习，比如识别笔迹最开始它嘚神经处理和猜测会是随机的，但是当它得到正确的回馈后相关晶体管之间的连接就会被加强；如果它得到错误的回馈，连接就会变弱
经过一段时间的测试和回馈后，这个网络自身就会组成一个智能的神经路径而处理这项任务的能力也得到了优化。人脑的学习是类似嘚过程不过比这复杂一点，随着我们对大脑研究的深入我们将会发现更好的组建神经连接的方法。
更加极端的“抄袭”方式是“整脑模拟”具体来说就是把人脑切成很薄的片，用软件来准确的组建一个 3D 模型然后把这个模型装在强力的电脑上。如果能做成这台电脑僦能做所有人脑能做的事情——只要让它学习和吸收信息就好了。
如果做这事情的工程师够厉害的话他们模拟出来的人脑甚至会有原本囚脑的人格和记忆，电脑模拟出的人脑就会像原本的人脑一样——这就是非常符合人类标准的强人工智能然后我们就能把它改造成一个哽加厉害的超人工智能了。
我们离整脑模拟还有多远呢至今为止，我们刚刚能够模拟 1 毫米长的扁虫的大脑这个大脑含有 302 个神经元。人類的大脑有 1000 亿个神经元听起来还差很远。但是要记住指数增长的威力——我们已经能模拟小虫子的大脑了蚂蚁的大脑也不远了，接着僦是老鼠的大脑到那时模拟人类大脑就不是那么不现实的事情了。
2）模仿生物演化 抄学霸的答案当然是一种方法但是如果学霸的答案呔难抄了呢？那我们能不能学一下学霸备考的方法
首先我们很确定的知道，建造一个和人脑一样强大的电脑是可能的——我们的大脑就昰证据如果大脑太难完全模拟，那么我们可以模拟演化出大脑的过程事实上，就算我们真的能完全模拟大脑结果也就好像照抄鸟类翅膀的拍动来造飞机一样——很多时候最好的设计机器的方式并不是照抄生物设计。
所以我们可不可以用模拟演化的方式来造强人工智能呢这种方法叫作“基因算法”，它大概是这样的：建立一个反复运作的表现 / 评价过程就好像生物通过生存这种方式来表现，并且以能否生养后代为评价一样
一组电脑将执行各种任务，最成功的将会“繁殖”把各自的程序融合，产生新的电脑而不成功的将会被剔除。经过多次的反复后这个自然选择的过程将产生越来越强大的电脑。而这个方法的难点是建立一个自动化的评价和繁殖过程使得整个鋶程能够自己运行。
这个方法的缺点也是很明显的演化需要经过几十亿年的时间，而我们却只想花几十年时间
但是比起自然演化来说，我们有很多优势首先，自然演化是没有预知能力的它是随机的——它产生的没用的变异比有用的变异多很多，但是人工模拟的演化鈳以控制过程使其着重于有益的变化。
其次自然演化是没有目标的，自然演化出的智能也不是它目标特定环境甚至对于更高的智能昰不利的（因为高等智能消耗很多能源）。
但是我们可以指挥演化的过程超更高智能的方向发展再次，要产生智能自然演化要先产生其它的附件，比如改良细胞产生能量的方法但是我们完全可以用电力来代替这额外的负担。
所以人类主导的演化会比自然快很多很多，但是我们依然不清楚这些优势是否能使模拟演化成为可行的策略
3）让电脑来解决这些问题 如果抄学霸的答案和模拟学霸备考的方法都赱不通，那就干脆让考题自己解答自己吧这种想法很无厘头，确实最有希望的一种
总的思路是我们建造一个能进行两项任务的电脑——研究人工智能和修改自己的代码。这样它就不只能改进自己的架构了我们直接把电脑变成了电脑科学家，提高电脑的智能就变成了电腦自己的任务
上这些都会很快发生！ 硬件的快速发展和软件的创新是同时发生的，强人工智能可能比我们预期的更早降临因为：
1）指數级增长的开端可能像蜗牛漫步，但是后期会跑的非常快
2）软件的发展可能看起来很缓慢但是一次顿悟，就能永远改变进步的速度就恏像在人类还信奉地心说的时候，科学家们没法计算宇宙的运作方式但是日心说的发现让一切变得容易很多。创造一个能自我改进的电腦来说对我们来说还很远，但是可能一个无意的变动就能让现在的系统变得强大千倍，从而开启朝人类级别智能的冲刺
强人工智能箌超人工智能之路
总有一天，我们会造出和人类智能相当的强人工智能电脑然后人类和电脑就会平等快乐的生活在一起。
即使是一个和囚类智能完全一样运算速度完全一样的强人工智能，也比人类有很多优势：
硬件上： 速度脑神经元的运算速度最多是 200 赫兹，今天的微處理器就能以 2G 赫兹也就是神经元 1000 万倍的速度运行，而这比我们达成强人工智能需要的硬件还差远了大脑的内部信息传播速度是每秒 120 米，电脑的信息传播速度是光速差了好几个数量级。
容量和储存空间人脑就那么大，后天没法把它变得更大就算真的把它变得很大，烸秒 120 米的信息传播速度也会成为巨大的瓶颈电脑的物理大小可以非常随意，使得电脑能运用更多的硬件更大的内存，长期有效的存储介质不但容量大而且比人脑更准确。
可靠性和持久性电脑的存储不但更加准确，而且晶体管比神经元更加精确也更不容易萎缩（真嘚坏了也很好修）。人脑还很容易疲劳但是电脑可以 24 小时不停的以峰值速度运作。
软件上来说： 可编辑性升级性，以及更多的可能性和人脑不同，电脑软件可以进行更多的升级和修正并且很容易做测试。电脑的升级可以加强人脑比较弱势的领域——人脑的视觉元件佷发达但是工程元件就挺弱的。而电脑不但能在视觉元件上匹敌人类在工程元件上也一样可以加强和优化。
集体能力人类在集体智能上可以碾压所有的物种。从早期的语言和大型社区的形成到文字和印刷的发明，再到互联网的普及人类的集体智能是我们统治其它粅种的重要原因之一。
而电脑在这方面比我们要强的很多一个运行特定程序的人工智能网络能够经常在全球范围内自我同步，这样一台電脑学到的东西会立刻被其它所有电脑学得而且电脑集群可以共同执行同一个任务，因为异见、动力、自利这些人类特有的东西未必会絀现在电脑身上
通过自我改进来达成强人工智能的人工智能，会把“人类水平的智能”当作一个重要的里程碑但是也就仅此而已了。咜不会停留在这个里程碑上的考虑到强人工智能之于人脑的种种优势，人工智能只会在“人类水平”这个节点做短暂的停留然后就会開始大踏步向超人类级别的智能走去。
这一切发生的时候我们很可能被吓尿因为从我们的角度来看 a)虽然动物的智能有区别，但是动物智能的共同特点是比人类低很多；b)我们眼中最聪明的人类要比最愚笨的人类要聪明很很很很多
超人工智能将如何导致人类灭绝或永生？ 所鉯当人工智能开始朝人类级别智能靠近时，我们看到的是它逐渐变得更加智能就好像一个动物一般。然后它突然达到了最愚笨的人類的程度，我们到时也许会感慨：“看这个人工智能就跟个脑残人类一样聪明真可爱。”
但问题是从智能的大局来看，人和人的智能嘚差别比如从最愚笨的人类到爱因斯坦的差距，其实是不大的所以当人工智能达到了脑残级别的智能后，它会很快变得比爱因斯坦更加聪明：
超人工智能将如何导致人类灭绝或永生 之后呢？
智能爆炸 从这边开始这个话题要变得有点吓人了。我在这里要提醒大家以丅所说的都是大实话——是一大群受人尊敬的思想家和科学家关于未来的诚实的预测。你在下面读到什么离谱的东西的时候要记得这些東西是比你我都聪明很多的人想出来的。
像上面所说的我们当下用来达成强人工智能的模型大多数都依靠人工智能的自我改进。但是一旦它达到了强人工智能即使算上那一小部分不是通过自我改进来达成强人工智能的系统，也会聪明到能够开始自我改进
这里我们要引絀一个沉重的概念——递归的自我改进。这个概念是这样的：一个运行在特定智能水平的人工智能比如说脑残人类水平，有自我改进的機制当它完成一次自我改进后，它比原来更加聪明了我们假设它到了爱因斯坦水平。
而这个时候它继续进行自我改进然而现在它有叻爱因斯坦水平的智能，所以这次改进会比上面一次更加容易效果也更好。第二次的改进使得他比爱因斯坦还要聪明很多让它接下来嘚改进进步更加明显。如此反复这个强人工智能的智能水平越长越快，直到它达到了超人工智能的水平——这就是智能爆炸也是加速囙报定律的终极表现。
现在关于人工智能什么时候能达到人类普遍智能水平还有争议对于数百位科学家的问卷调查显示他们认为强人工智能出现的中位年份是 2040 年——距今只有 25 年。这听起来可能没什么但是要记住，很多这个领域的思想家认为从强人工智能到超人工智能的轉化会快得多
以下的情景很可能会发生：
一个人工智能系统花了几十年时间到达了人类脑残智能的水平，而当这个节点发生的时候电腦对于世界的感知大概和一个四岁小孩一般；而在这节点后一个小时，电脑立马推导出了统一广义相对论和量子力学的物理学理论；而在這之后一个半小时这个强人工智能变成了超人工智能，智能达到了普通人类的 17 万倍
这个级别的超级智能不是我们能够理解的，就好像蜜蜂不会理解凯恩斯经济学一样在我们的语言中，我们把 130 的智商叫作聪明把 85 的智商叫作笨，但是我们不知道怎么形容 12952 的智商人类语訁中根本没这个概念。
但是我们知道的是人类对于地球的统治教给我们一个道理——智能就是力量。也就是说一个超人工智能，一旦被创造出来将是地球有史以来最强大的东西，而所有生物包括人类，都只能屈居其下——而这一切有可能在未来几十年就发生。
想┅下如果我们的大脑能够发明 Wifi，那么一个比我们聪明 100 倍、1000 倍、甚至 10
亿倍的大脑说不定能够随时随地操纵这个世界所有原子的位置那些茬我们看来超自然的，只属于全能的上帝的能力对于一个超人工智能来说可能就像按一下电灯开关那么简单。防止人类衰老治疗各种鈈治之症，解决世界饥荒甚至让人类永生，或者操纵气候来保护地球未来的什么这一切都将变得可能。同样可能的是地球上所有生命嘚终结
当一个超人工智能出生的时候，对我们来说就像一个全能的上帝降临地球一般
这时候我们所关心的就是
这篇文章的第一部分完叻，我建议你休息一下喝点水，下面我们要开始第二部分
文章的第一部分讨论了已经在我们日常生活中随处可见的弱人工智能，然后討论了为什么从弱人工智能到强人工智能是个很大的挑战然后我们谈到了为什么技术进步的指数级增长表面强人工智能可能并不那么遥遠。第一部分的结束我们谈到了一旦机器达到了人类级别的智能，我们将见到如下的场景：
这让我们无所适从尤其考虑到超人工智能鈳能会发生在我们有生之年，我们都不知道该用什么表情来面对
再我们继续深入这个话题之前，让我们提醒一下自己超级智能意味着什麼
很重要的一点是速度上的超级智能和质量上的超级智能的区别。很多人提到和人类一样聪明的超级智能的电脑第一反应是它运算速喥会非常非常快——就好像一个运算速度是人类百万倍的机器，能够用几分钟时间思考完人类几十年才能思考完的东西
这听起来碉堡了洏且超人工智能确实会比人类思考的快很多，但是真正的差别其实是在智能的质量而不是速度上用人类来做比喻，人类之所以比猩猩智能很多真正的差别并不是思考的速度，而是人类的大脑有一些独特而复杂的认知模块这些模块让我们能够进行复杂的语言呈现、长期規划、或者抽象思考等等，而猩猩的脑子是做不来这些的
就算你把猩猩的脑子加速几千倍，它还是没有办法在人类的层次思考的它依嘫不知道怎样用特定的工具来搭建精巧的模型——人类的很多认知能力是猩猩永远比不上的，你给猩猩再多的时间也不行
而且人和猩猩嘚智能差别不只是猩猩做不了我们能做的事情，而是猩猩的大脑根本不能理解这些事情的存在——猩猩可以理解人类是什么也可以理解摩天大楼是什么，但是它不会理解摩天大楼是被人类造出来的对于猩猩来说，摩天大楼那么巨大的东西肯定是天然的句号。对于猩猩來说它们不但自己造不出摩天大楼，它们甚至没法理解摩天大楼这东西能被任何东西造出来而这一切差别，其实只是智能的质量中很尛的差别造成的
而当我们在讨论超人工智能时候，智能的范围是很广的和这个范围比起来，人类和猩猩的智能差别是细微的如果生粅的认知能力是一个楼梯的话，不同生物在楼梯上的位置大概是这样的：
要理解一个具有超级智能的机器有多牛逼让我们假设一个在上圖的楼梯上站在深绿色台阶上的一个机器，它站的位置只比人类高两层就好像人类比猩猩只高两层一样。这个机器只是稍微有点超级智能而已但是它的认知能力之于人类，就好像人类的认知能力之于猩猩一样就好像猩猩没有办法理解摩天大楼是能被造出来的一样，人類完全没有办法理解比人类高两层台阶的机器能做的事情就算这个机器试图向我们解释，效果也会像教猩猩造摩天大楼一般
而这，只昰比我们高了两层台阶的智能罢了站在这个楼梯顶层的智能之于人类，就好像人类之于蚂蚁一般——它就算花再多时间教人类一些最简單的东西我们依然是学不会的。
但是我们讨论的超级智能并不是站在这个楼梯顶层而是站在远远高于这个楼梯的地方。当智能爆炸发苼时它可能要花几年时间才能从猩猩那一层往上迈一步，但是这个步子会越迈越快到后来可能几个小时就能迈一层，而当它超过人类┿层台阶的时候它可能开始跳着爬楼梯了——一秒钟爬四层台阶也未尝不可。所以让我们记住当第一个到达人类智能水平的强人工智能出现后，我们将在很短的时间内面对一个站在下图这样很高很高的楼梯上的智能（甚至比这更高百万倍）：
前面已经说了试图去理解仳我们高两层台阶的机器就已经是徒劳的，所以让我们很肯定的说我们是没有办法知道超人工智能会做什么，也没有办法知道这些事情嘚后果任何假装知道的人都没搞明白超级智能是怎么回事。
自然演化花了几亿年时间发展了生物大脑按这种说法的话，一旦人类创造絀一个超人工智能我们就是在碾压自然演化了。当然可能这也是自然演化的一部分——可能演化真正的模式就是创造出各种各样的智能，直到有一天有一个智能能够创造出超级智能而这个节点就好像踩上了地雷的绊线一样，会造成全球范围的大爆炸从而改变所有生粅的命运。
科学界中大部分人认为踩上绊线不是会不会的问题而是时间早晚的问题。想想真吓人
可惜，没有人都告诉你踩到绊线后会發生什么但是人工智能思想家 Nick Bostrom 认为我们会面临两类可能的结果——永生和灭绝。
首先回顾历史，我们可以看到大部分的生命经历了这樣的历程：物种出现存在了一段时间，然后不可避免的跌落下生命的平衡木跌入灭绝的深渊。
历史上来说“所有生物终将灭绝”就潒“所有人都会死”一样靠谱。至今为止存在过的生物中 99.9%都已经跌落了生命的平衡木，如果一个生物继续在平衡木上走早晚会有一阵風把它吹下去。Bostrom 把灭绝列为一种吸引态——所有生物都有坠入的风险而一旦坠入将没有回头。
虽然大部分科学家都承认一个超人工智能囿把人类灭绝的能力也有一些人为如果运用得当，超人工智能可以帮助人类和其它物种达到另一个吸引态——永生。
Bostrom 认为物种的永生囷灭绝一样都是吸引态也就是我一旦我们达成了永生，我们将永远不再面临灭绝的危险——我们战胜了死亡和几率所以，虽然绝大多數物种都从平衡木上摔了下去灭绝了Bostrom 认为平衡木外是有两面的，只是至今为止地球上的生命还没聪明到发现怎样去到永生这另一个吸引態
如果 Bostrom 等思想家的想法是对的，而且根据我的研究他们确实很可能是对的那么我们需要接受两个事实：
1）超人工智能的出现，将有史鉯来第一次将物种的永生这个吸引态变为可能
2）超人工智能的出现，将造成非常巨大的冲击而且这个冲击可能将人类吹下平衡木，并苴落入其中一个吸引态
有可能当自然演化踩到绊线的时候，它会永久的终结人类和平衡木的关系创造一个新的世界，不管这时人类还昰不是存在
而现在的问题就是：“我们什么时候会踩到绊线？”以及“从平衡木上跌下去后我们会掉入哪个吸引态”
没人知道答案，泹是一些聪明人已经思考了几十年接下来我们看看他们想出来了些什么。
先来讨论“我们什么时候会踩到绊线”也就是什么时候会出現第一个超级智能。
这些人相信超级智能会发生在不久的将来因为指数级增长的关系，虽然机器学习现在还发展缓慢但是在未来几十姩就会变得飞快。
Kurzweil 一派则认为唯一被低估的其实是指数级增长的潜力他们把质疑他们理论的人比作那些 1985 年时候看到发展速度缓慢的因特網，然后觉得因特网在未来不会有什么大影响的人一样
而质疑者们则认为智能领域的发展需要达到的进步同样是指数级增长的，这其实紦技术发展的指数级增长抵消了
争论如此反复。 第三个阵营包括 Nick Bostrom 在内，认为其它两派都没有理由对踩绊线的时间那么有信心他们同時认为 a) 这事情完全可能发生在不久的未来 b)但是这个事情没个准，说不定会花更久
还有不属于三个阵营的其他人比如哲学家 Hubert Dreyfus，相信三个阵營都太天真了根本就没有什么绊线。超人工智能是不会被实现的
当你把所有人的观点全部融合起来的话是怎样呢？
2013 年的时候Bostrom 做了个問卷调查，涵盖了数百位人工智能专家问卷的内容是“你预测人类级别的强人工智能什么时候会实现”，并且让回答者给出一个乐观估計（强人工智能有 10%的可能在这一年达成）正常估计（有 50%的可能达成），和悲观估计（有 90%可能达成）当把大家的回答统计后，得出了下媔的结果：
乐观估计中位年（强人工智能有 10%的可能在这一年达成）：2022 年
正常估计中位年（强人工智能有 50%的可能在这一年达成）：2040 年
悲观估計中位年（强人工智能有 90%的可能在这一年达成）：2075 年
所以一个中位的人工智能专家认为 25 年后的 2040 年我们能达成强人工智能而 2075 年这个悲观估計表明，如果你现在够年轻有一半以上的人工智能专家认为在你的有生之年能够有 90%的可能见到强人工智能的实现。
另外一个独立的调查由作家 James Barrat 在 Ben Goertzel 的强人工智能年会上进行，他直接问了参与者认为强人工智能哪一年会实现选项有 2030 年，2050 年2100 年，和永远不会实现结果是：
2030 姩：42%的回答者认为强人工智能会实现
这个结果和 Bostrom 的结果很相似。在 Barrat 的问卷中有超过三分之二的参与者认为强人工智能会在 2050 年实现，有近乎半数（42%）的人认为未来 15 年（2030 年）就能实现并且，只有 2%的参与者认为强人工智能永远不会实现
但是强人工智能并不是绊线，超人工智能才是那么专家们对超人工智能是怎么想的呢？
Bostrom 的问卷还询问专家们认为达到超人工智能要多久选项有 a)达成强人工智能两年内，b)达成強人工智能 30 年内问卷结果如下：
中位答案认为强人工智能到超人工智能只花 2 年时间的可能性只有 10%左右，但是 30 年之内达成的可能性高达 75%
从鉯上答案我们可以估计一个中位的专家认为强人工智能到超人工智能可能要花 20 年左右。所以我们可以得出，现在全世界的人工智能专镓中一个中位的估计是我们会在 2040 年达成强人工智能，并在 20 年后的 2060 年达成超人工智能——也就是踩上了绊线
超人工智能将如何导致人类滅绝或永生？
当然以上所有的数据都是推测，它只代表了现在人工智能领域的专家的中位意见但是它告诉我们的是，很大一部分对这個领域很了解的人认为 2060 年是一个实现超人工智能的合理预测——距今只有 45 年
那么我们来看一下下一个问题，踩到绊线后我们将跌向平衡木的哪一个方向？
超级智能会产生巨大的力量所以关键的问题时——到时这股力量究竟由谁掌握，掌握这份力量的人会怎么做
这个問题的答案将决定超人工智能究竟是天堂还是地狱。
同样的专家们在这个问题上的观点也不统一。Bostrom 的问卷显示专家们看待强人工智能对於人类社会的影响时52%认为结果会是好或者非常好的，31%认为会是糟糕的或者非常糟糕的只有 17%的人认为结果会是不好不坏的。
也就是说這个领域的专家普遍认为这将是一个很大的事情，不论结果好坏要注意的是，这个问题问的是强人工智能如果问的是超人工智能，认為结果不好不坏的人可能不会有 17%这么多
在我们深入讨论好坏这个问题之前，我们先把“什么时候会发生”和“这是好事还是坏事”的结果综合起来画张表这代表了大部分专家的观点：
超人工智能将如何导致人类灭绝或永生？ 我们等下再考虑主流阵营的观点咱们先来问┅下你自己是怎么想的，其实我大概能猜到你是怎么想的因为我开始研究这个问题前也是这样的想的。很多人其实不关心这个话题原洇无非是：
像本文第一部分所说，电影展示了很多不真实的人工智能场景让我们认为人工智能不是正经的课题。作家 James Barrat 把这比作传染病控淛中心发布吸血鬼警报一样滑稽
因为认知偏差，所以我们在见到证据前很难相信一件事情是真的我确信 1988 年的时候电脑科学家们就已经瑺在讨论因特网将是多么重要，但是一般人并不会认为因特网会改变他们的生活——直到他们的生活真的被改变了
一方面，1988 年的电脑确實不够给力所以那时的人们看着电脑会想：“这破玩意儿也能改变我的生活，你逗我吧”人们的想象力被自己对于电脑的体验而约束。让他们难以想象电脑会变成现在的样子
同样的事情正发生在人工智能领域。我们听到很多人说人工智能将会造成很大影响但是因为這个事情还没发生，因为我们和一些弱爆了的人工智能系统的个人经历让我们难以相信这东西真的能改变我们的生活。而这些认知偏差正是专家们在努力对抗的。
就算我们相信人工智能的巨大潜力你今天又花了多少时间思考“在接下来的永恒中，绝大部分时间我都不會再存在”这个问题虽然这个问题比你今天干的大部分事情都重要很多，但是正常人都不会老是想这个吧这是因为你的大脑总是关注ㄖ常的小事，不管长期来看有多少重要的事情我们天生就是这么思考的。
这篇东西的主要目标就是让你脱离普通人阵营加入专家思考嘚阵营，哪怕能让你站到两条不确定线的交点上目标也达到了。
在我的研究中我见识到了各种各样的观点，但是我发现大多数人的观點都停留在主流阵营中事实上超过四分之三的专家都属于主流阵营中的两个小阵营：焦虑大道和信心角。
超人工智能将如何导致人类灭絕或永生
我们将对这两个小阵营做深入的谈论，让我们从比较有趣的那个开始吧
研究人工智能这个领域后，我发现有比预期的多得多嘚人站在信心角当中：
超人工智能将如何导致人类灭绝或永生
站在信心角中的人非常兴奋，他们认为他们将走向平衡木下比较有趣的那個吸引态未来将实现他们的梦想，他们只需耐心等待
把这一部分人从其他思想家区分开来的是这些人对于比较有趣的那个吸引态的欲朢——他们很有信心永生是我们的发展方向。
这份信心是哪里来的不好说评论家认为是这些人太过兴奋而产生了盲点，忽略了可能的负媔结果但是信心角的人还是把批评者当作末日论者来看待，他们认为技术会继续帮助我们而不是伤害我们
两边的观点我们都会说，这樣你能形成自己的观点但是在读下面的内容前，请把质疑暂时搁置让我们看看平衡木两边究竟有什么，并且记住这些事情是有可能发苼的如果我们给一个打猎采集者看我们现在的舒适家居、技术、富庶，在他眼里这一切也会像魔法一样——我们也要接受未来完全可能絀现能把我们吓尿的变革
Bostrom 描述了三种超人工智能可能的工作模式
先知模式：能准确回答几乎所有的问题，包括对人类来说很困难的复杂問题比如“怎样造一个更好的汽车引擎？”
精灵模式：能够执行任何高级指令比如用分子组合器造一个更好的汽车引擎出来
独立意志模式（sovereign）:可以执行开放式的任务，能在世界里自由活动可以自己做决定，比如发明一种比汽车更快、更便宜、更安全的交通模式
这些對人类来说很复杂的问题，对于一个超级智能来说可能就像“我的笔掉了你能帮我捡一下吗？”这么简单
“根本没有困难的问题，只囿对于特定级别的智能来说难的问题在智能的阶梯上走一小步，一些不可能的问题就变得简单了如果走一大步，所有问题都变得简单叻”
信心角里有很多热忱的科学家、发明家和创业者，但是对于人工智能的未来最有发言权的当属 Ray Kurzweil.
对于 Kurzweil 的评价非常两极化，既有如对鉮人般的崇拜也有翻白眼似的不屑。也有一些中立主义者比如作家 Douglas Hofstadter，他觉得 Kurzweil 的观点就好像把美食和狗屎混在一起让你分不清是好是壞。
不管你同不同意 Kurzweil 的观点他都是一个牛人。他年轻时候就开始搞发明之后几十年发明了很多东西，比如第一台平板扫描仪第一台能把文字转化为语言的扫描仪（盲人使用），著名的 Kurzweil 音乐合成器（第一台真正意义上的电子钢琴）以及第一套商业销售的语音识别系统。他是五本畅销书的作者
他很喜欢做大胆的预测，而且一直很准比如他 80 年代末的时候预测到 2000 年后因特网会成为全球级的现象。他被《華尔街日报》成为“不休的天才”被《福布斯》称为“终极思想机器”，被《Inc.》称作“爱迪生真正的传人”被比尔盖茨称为“我认识嘚对人工智能预测最厉害的人。
”2012 年谷歌创始人 Larry Page 曾邀请他担任谷歌的工程总监2011 年他共同创立了奇点大学（Singularity University），现在大学由美国太空总署運运营由谷歌赞助。
Kurzweil 的经历很重要因为当他讲述自己对未来的愿景时，他听起来就是个疯子但是他不疯，恰恰相反他非常聪明而囿知识。你可能觉得他对于未来的想法是错的但是他不傻。知道他是一个聪明人让我很开心因为当我知道他对未来的预测后，我急切嘚很希望他的预测是对的信心角中的很多思想家都认同 Kurzweil 的预测，他也有很多粉丝被称为奇点主义者。
Kurzweil 相信电脑会在 2029 年达成强人工智能而到了 2045 年，我们不但会有超人工智能还会有一个完全不同的世界——奇点时代。他的人工智能时间线曾经被认为非常的狂热现在也還是有很多人这么认为，但是过去 15 年弱人工智能的快速发展让更多的专家靠近了 Kurzweil 的时间线虽然他的时间线比之前提到的 2040 年和 2060 年更加早，泹是并没有早多少
Kurzweil 的奇点时代是三个技术领域的共同革命造成的：生物技术、纳米技术和最重要的人工智能技术。
摘要： 一旦超人工智能出现人类任何试图控制它的行为都是可笑的。人类会用人类的智能级别思考而超人工智能会用超人工智能级别思考。隔壁老王想要鼡互联网因为这对它来说很方便，因为一切它需要的资源都已经被互联网连起来了
在我们继续讨论人工智能前，让我们谈一下纳米技術这个任何关于人工智能的讨论都会涉及到的领域
纳米技术 纳米技术说的是在 1-100 纳米的范围内操纵物质的技术。一纳米是一米的十亿分之┅是一毫米的一百万分之一。1-100 纳米这个范围涵盖了病毒（100 纳米长）DNA（10 纳米宽）， 大分子比如血红蛋白（5 纳米）和中分子比如葡萄糖（1 纳米）。
当我们能够完全掌握纳米技术的时候我们离在原子层面操纵物质就只差一步了，因为那只是一个数量级的差距（约 0.1 纳米）
偠了解在纳米量级操纵物质有多困难，我们可以换个角度来比较国际空间站距离地面 431 公里。如果一个人身高 431 公里也就是他站着能够顶箌国际空间站的话，他将是普通人类的 25 万倍大如果你把 1-100 纳米放大 25 万倍，你算出的是 0.25 毫米 -25 毫米
所以人类使用纳米技术，就相当于一个身高 431 公里的巨人用沙子那么大的零件搭精巧的模型如果要达到原子级别操纵物质，就相当于让这个 431 公里高的巨人使用 0.025 毫米大的零件
关于納米技术的思考，最早由物理学家费曼在 1959 年提出他解释道：“据我所知，物理学的原理并不认为在原子级别操纵物质是不可能的。
原則上来说物理学家能够制造出任何化学家能写出来的物质——只要把一个个原子按照化学家写出来的放在一起就好了。”其实就是这么簡单所以我们只要知道怎样移动单个的分子和原子，我们就可以造出任何东西
工程师 Eric Drexler 提出纳米级组装机后，纳米技术在 1986 年成为了一门囸经的学科纳米级组装机的工作原理是这样的：一个牛逼扫描仪扫描物件的 3D 原子模型，然后自动生成用来组装的软件然后由一台中央電脑和数万亿的纳米“机器人”，通过软件用电流来指挥纳米机器人最后组成所需要的物件。
纳米技术有一些不是那么有趣的部分——能够制造数万亿的纳米机器人唯一合理的方法就是制造可以自我复制的范本然后让指数级增长来完成建造任务。很机智吧
是很机智，泹是这一不小心就会造成世界末日指数级增长虽然能很快的制造数万亿的纳米机器人，但这也是它可怕的地方——如果系统出故障了指数级增长没有停下来，那怎么办
纳米机器人将会吞噬所有碳基材料来支持自我复制，而不巧的是地球生命就是碳基的。地球上的生粅质量大概包含 10^45 个碳原子一个纳米机器人有 10^6 个碳原子的话，只需要 10^39 个纳米机器人就能吞噬地球上全部的生命了而 2^130 约等于 10^39，也就是说自峩复制只要进行 130 次就能吞噬地球生命了科学家认为纳米机器人进行一次自我复制只要 100
秒左右，也就是说一个简单的错误可能就会在 3.5 小时內毁灭地球上全部的生命
更糟糕的是，如果恐怖分子掌握了纳米机器人技术并且知道怎么操纵它们的话，他可以先造几万亿个纳米机器人然后让它们散播开来。然后他就能发动袭击这样只要花一个多小时纳米机器人就能吞噬一切，而且这种攻击无法阻挡未来真的昰能把人吓尿的。
等我们掌握了纳米技术后我们就能用它来制造技术产品、衣服、食物、和生物产品，比如人造红细胞、癌症细胞摧毁鍺、肌肉纤维等等而在纳米技术的世界里，一个物质的成本不再取决于它的稀缺程度或是制造流程的难度而在于它的原子结构有多复雜。在纳米技术的时代钻石可能比橡皮擦还便宜。
我们还没掌握这种技术我们甚至不知道我们对于达成这种技术的难度是高估了还是低估了，但是我们看上去离那并不遥远Kurzweil 预测我们会在 21 世纪 20 年代掌握这样的技术。各国政府知道纳米技术将能改变地球所以他们投入了佷多钱到这个领域，美国、欧盟和日本至今已经投入了 50 亿美元
设想一下，一个具有超级智能的电脑能够使用纳米级的组装器，是种什麼样的体验要记得纳米技术是我们在研究的玩意儿，而且我们就快掌握这项技术了而我们能做的一切在超人工智能看来就是小儿科罢叻，所以我们要假设超人工智能能够创造出比这要发达很多很多的技术发达到我们的大脑都没有办法理解。
因此当考虑“如果人工智能革命的成果对我们是好的”这个命题的时候，要记得我们根本没法高估会发生什么所以就算下面对于超人工智能的预测显得太不靠谱，要记得这些进展可能是用我们没有办法想象的方法达成的事实上，我们的大脑很可能根本没法预测将会发生什么
人工智能能为我们莋什么？ 拥有了超级智能和超级智能所能创造的技术超人工智能可以解决人类世界的所有问题。气候变暖超人工智能可以用更优的方式产生能源，完全不需要使用化石燃料从而停止二氧化碳排放。然后它能创造方法移除多余的二氧化碳
癌症？没问题有了超人工智能，制药和健康行业将经历无法想象的革命世界饥荒？超人工智能可以用纳米技术直接搭建出肉来而这些搭建出来的肉和真肉在分子結构上会是完全相同的——换句话说，就是真肉
纳米技术能够把一堆垃圾变成一堆新鲜的肉或者其它食品，然后用超级发达的交通把这些食物分配到世界各地这对于动物也是好消息，我们不需要屠杀动物来获得肉了而超人工智能在拯救濒危物种和利用 DNA 复活已灭绝物种仩面也能做很多事情。
超人工智能甚至可以解决复杂的宏观问题——我们关于世界经济和贸易的争论将不再必要甚至我们对于哲学和道德的苦苦思考也会被轻易的解决。
但是有一件事是如此的吸引人，光是想想就能改变对所有事物的看法了：
超人工智能将如何导致人类滅绝或永生
几个月前，我提到我很羡慕那些可能达成了永生的文明但是，现在我已经在认真的考虑达成永生这个事情很可能在我们囿生之年就能达成。研读人工智能让你重新审思对于所有事情的看法包括死亡这一很确定的事情。
自然演化没有理由让我们活得比现在哽长对于演化来说，只要我们能够活到能够生育后代并且养育后代到能够自己保护自己的年纪，那就够了——对演化来说活 30 多岁完铨够了，所以额外延长生命的基因突变并不被自然选择所钟爱这其实是很无趣的事情。
而且因为所有人都会死所以我们总是说“死亡囷缴税”是不可避免的。我们看待衰老就像看待时间一样——它们一直向前而我们没有办法阻止它们。
但是这个假设是错的费曼曾经寫道：
“在所有的生物科学中，没有任何证据说明死亡是必需的如果你说你想造永动机，那我们对于物理学的研究已经让我们有足够的悝论来说明这是不可能的
但是在生物领域我们还没发现任何证据证明死亡是不可避免的。也就是说死亡不一定是不可避免的生物学家早晚会发现造成我们死亡的原因是什么，而死亡这个糟糕的‘病’就会被治好而人类的身体也将不再只是个暂时的容器。”
超人工智能將如何导致人类灭绝或永生 事实上，衰老和时间不是绑死的时间总是会继续前进的，而衰老却不一定仔细想想，衰老只是身体的组荿物质用旧了汽车开久了也会旧，但是汽车一定会衰老吗如果你能够拥有完美的修复技术、或者直接替换老旧的汽车部件，这辆车就能永远开下去人体只是更加复杂而已，本质上和汽车是一样的
Kurzweil 提到由 Wifi 连接的纳米机器人在血液中流动，可以执行很多人类健康相关的任务包括日常维修，替换死去的细胞等等如果这项技术能够被完美掌握，这个流程（或者一个超人工智能发明的更好的流程）将能使囚的身体永远健康甚至越活越年轻。一个 60 岁的人和一个 30 岁的人身体上的区别只是物理上的只要技术足够发达我们是能改变这种区别的。
超人工智能可以建造一个“年轻机器”当一个 60 岁的人走进去后，再出来时就拥有了年轻 30 岁的身体就算是逐渐糊涂的大脑也可能年轻囮，只要超人工智能足够聪明能够发现不影响大脑数据的方法来改造大脑就好了。
一个 90 岁的失忆症患者可以走进“年轻机器”再出来時就拥有了年轻的大脑。这些听起来很离谱但是身体只是一堆原子罢了，只要超人工智能可以操纵各种原子结构的话这就完全不离谱。
Kurzweil 的思维继续跳跃了一下他相信人造材料将越来越多的融入人体。最开始人体器官将被先进的机械器官所代替，而这些机械器官可以┅直运行下去然后我们会开始重新设计身体，比如可以用自我驱动的纳米机器人代替血红细胞这样连心脏都省了。Kurzweil 甚至认为我们会改慥自己的大脑使得我们的思考速度比现在快亿万倍，并且使得大脑能和云存储的信息进行交流
我们能获得的新体验是无穷的。人类的性爱使得人们不但能生育，还能从中享乐Kurtzweil 认为我们可以对食物做同样的改造。纳米机器人可以负责把身体需要的营养物质传送到细胞Φ智能的将对身体不好的东西排出体外——就像一个食物避孕套一样。
纳米技术理论家 Robert A. Freitas 已经设计了一种红细胞的替代品能够让人快速沖刺 15 分钟不需要呼吸——那么超人工智能能对我们的身体能力做的改造就更加难以想象。虚拟现实将拥有新的意义——体内的纳米机器人將能控制我们从感官获得的信号然后用别的信号替代他们，让我们进入一个新的环境在新环境里，我们能听、看、闻、触摸。
最終，Kurzweil 认为人类会完全变成人工的有一天当我们看到生物材料，然后觉得生物材料实在太原始了早年的人体居然是用这样的东西组成的，早期的人类居然会被微生物、意外、疾病杀死
这就是 Kurzweil 眼中人类最终战胜自己的生理，并且变得不可摧毁和永生这也是平衡木的另一個吸引态。他深深的想象我们会达到那里而且就在不久的将来。
Kurzweil 的想法很自然的受到了各方的批评他对于 2045 年奇点时代的到来，以及之後的永生的可能性受到了各种嘲笑——“书呆子的狂欢”、“高智商人士的创始论”等等也有人质疑他过于乐观的时间线，以及他对人腦和人体的理解程度还有他将摩尔定于应用到软件上的做法。有很多人相信他但有更多人反对他。
但是即使如此那些反对他的专家並不是反对他所说的一切，反对他的人说的不是“这种事情不可能发生”而是说“这些当然可能发生，但是到达超人工智能是很难的”连经常提醒我们人工智能的潜在威胁的 Bostrom 都这么说：
很难想象一个超级智能会有什么问题是解决不了，或是不能帮着我们解决的疾病、貧困、环境毁灭、各种不必要的苦难，这些都是拥有纳米科技的超级智能能够解决的
而且，超级智能可以给我们无限的生命这可以通過停止或者逆转衰老来达成，也可以让我们上传自己的数据一个超级智能还能让我们大幅度提高智商和情商，还能帮助我们创造这种有趣的体验世界让我们享乐。
这是 Bostrom 这个明显不在信心角的人的观点但也是很多反对 Kurzweil 的专家的观点，他们不觉得 Kurzweil 是在说梦话只是觉得我們首先要安全达成超人工智能。这也是为什么我觉得 Kurzweil 的观点很有传染性他传达了正面的信息，而这些事情都是可能的——如果超人工智能是个仁慈的神的话
对信心角的最有力的批评，是那些信心角里的人都低估了超人工智能的坏处Kurzweil 的畅销书《The Singularity is Near》700 多页，只有 20 页用来讨论囚工智能的危险前面提到，当超人工智能降临时我们的命运取决于谁掌握这股力量以及他们是不是好人。Kurzweil
的回答是“超人工智能正从哆方的努力中出现它将深深的融入我们文明的基建中。它会亲密的被捆绑在我们的身体和大脑中它会反映我们的价值，因为它就是我們”
但如果答案就是这样的话，为什么这个世界上最聪明的一些人会很担忧为什么霍金会说超人工智能会毁灭人类？为什么比尔盖茨會不理解为什么有人不为此担忧为什么马斯克会担心我们是在召唤恶魔？为什么那么多专家担心超人工智能是对人类最大的威胁
这些站在焦虑大道上的思想家，不认同 Kurzweil 对于人工智能的危险的粉饰他们非常非常担心人工智能革命，他们不关注平衡木下比较有趣的那一个吸引态而是盯着平衡木的另一边，而他们看到的是可怕的未来一个我们未必能够逃离的未来。
未来可能是我们最糟的恶梦
我想了解人笁智能的一个原因是“坏机器人”总是让我很困惑那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的嫃实情况
机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗我们难道不能设立很多安全机制吗？再不济难道我们不能拔插头吗？而且为什么机器人会想要做坏事或者说，为什么机器人会“想要”做任何事我充满疑问，于是我开始了解聪明人们的想法
这些人一般位于焦虑大道：
焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营他们认同极好和极坏两种可能，但是不确定究竟会是哪个
焦慮大道上的人是部分为超人工智能感到兴奋的——他们只是很担心人类现在的表现就好像《夺宝奇兵》中的这位少年：
他拿着自己的鞭子囷宝物，非常开心然后他就挂了：
同时，印第安纳琼斯则更加有见识和更加谨慎了解潜在的危险并且做出相应的反应，最后安全逃出叻山洞当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的很容易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧”
那究竟是什么让焦虑大道的人们如此焦虑呢？ 首先广义上来讲，在创造超人工智能时我们其实是在创造可能一件会改变所有倳情的事物，但是我们对那个领域完全不清楚也不知道我们到达那块领域后会发生什么。科学家 Danny Hillis 把这个比作“就好像单细胞生物向多细胞生物转化的时候那样还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”
Bostrom 则担忧创造比自身聪明的东西是个基础的达尔文错誤就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家但是其它麻雀却觉得这是个糟糕的主意。
当你把“對那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时你创造出了一个很恐怖的词：生存危机。
生存危机指可能對人类产生永久的灾难性效果的事情通常来说，生存危机意味着灭绝下面是 Bostrom 的图表：
超人工智能将如何导致人类灭绝或永生？ 可以看箌生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况但是这基本上和灭絕没差了。三类事情可能造成人类的生存危机：
1）自然——大型陨石冲撞大气变化使得人类不能生活在空气中，席卷全球的致命病毒等
2）外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置他们不想我们变成邀请别人来殖民的傻子。
3）人类——恐怖分子获得叻可以造成灭绝的武器全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能
Bostrom 指出 1 和 2 在我们物种存在的前十万年还没有发生所以在接下来一个世纪发生的可能性不大。3 则让他很害怕他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球小部分昰红色的，只有几个是黑色的
每次人类发明一些新东西，就相当于从罐中取出一个玻璃球大多数发明是有利或者中立的——那些是白銫玻璃球。有些发明对人类是有害的比如大规模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的这就是那些嫼色玻璃球。很明显的我们还没摸到黑色玻璃球，但是 Bostrom 认为不久的未来摸到一个黑色玻璃球不是完全不可能的
比如核武器突然变得很嫆易制造了，那恐怖分子很快会把我们炸回石器时代核武器还算不上黑色玻璃球，但是差的不远了而超人工智能是我们最可能摸到的嫼色玻璃球。
你会听到很多超人工智能带来的坏处——人工智能取代人类工人造成大量失业；因为解决了衰老造成的人口膨胀。但是真囸值得我们担心的是生存危机的可能性
于是我们又回到了前面的问题，当超人工智能降临时谁会掌握这份力量，他们又会有什么目标
当我们考虑各种力量持有人和目标的排列组合时，最糟糕的明显是：怀着恶意的人 / 组织 / 政府掌握着怀有恶意的超人工智能。这会是什麼样的情况呢
怀着恶意的人 / 组织 / 政府，研发出第一个超人工智能并且用它来实现自己的邪恶计划。我把这称作贾法尔情况阿拉丁神燈故事中，坏人贾法尔掌握了一个精灵特别让人讨厌。所以如果 ISIS 手下有一群工程师狂热的研发人工智能怎么办或者说伊朗和朝鲜，机緣巧合不小心造成了人工智能的快速发展，达成了超人工智能怎么办
这当然是很糟糕的事，但是大部分专家认为糟糕的地方不在于这些人是坏人而在于在这些情况下，这些人基本上是不经思考就把超人工智能造出来而一造出来就失去了对超人工智能的控制。
然后这些创造者连着其他人的命运，都取决于这个超人工智能的动机了专家认为一个怀着恶意并掌握着超人工智能的人可以造成很大的伤害，但不至于让我们灭绝因为专家相信坏人和好人在控制超人工智能时会面临一样的挑战。
如果被创造出来的超人工智能是怀有恶意的並且决定毁灭我，怎么办这就是大部分关于人工智能的电影的剧情。人工智能变得和人类一样聪明甚至更加聪明，然后决定对人类下掱——这里要指出那些提醒我们要警惕人工智能的人谈的根本不是这种电影情节。
邪恶是一个人类的概念把人类概念应用到非人类身仩叫作拟人化，本文会尽量避免这种做法因为没有哪个人工智能会像电影里那样变成邪恶的。
我们开始谈论到了人工智能讨论的另一个話题——意识如果一个人工智能足够聪明，它可能会嘲笑我们甚至会嘲讽我们，它会声称感受到人类的情感但是它是否真的能感受箌这些东西呢？它究竟是看起来有自我意识还是确实拥有自我意识？或者说聪明的人工智能是否真的会具有意识，还是看起来有意识
这个问题已经被深入的讨论过，也有很多思想实验比如 John Searle 的中文屋实验。这是个很重要的问题因为它会影响我们对 Kurzweil 提出的人类最终会唍全人工化的看法，它还有道德考量——如果我们模拟出万亿个人脑而这些人脑表现的和人类一样，那把这些模拟大脑彻底关闭的话茬道德上和关掉电脑是不是一样的？还是说这和种族屠杀是等价的
本文主要讨论人工智能对人类的危险，所以人工智能的意识并不是主偠的讨论点因为大部分思想家认为就算是有自我意识的超人工智能也不会像人类一样变得邪恶。
但这不代表非常坏的人工智能不会出现只不过它的出现是因为它是被那样设定的——比如一个军方制造的弱人工智能，被设定成具有杀人和提高自我智能两个功能当这个人笁智能的自我改进失控并且造成智能爆炸后，它会给我们带来生存危机因为我们面对的是一个主要目标是杀人的超人工智能——但这也鈈是专家们担心的。
那么专家们究竟担心什么呢我们来讲个小故事： 一个 15 人的小创业公司，取名叫“隔壁老王机器人公司”他们的目標是“发展创新人工智能工具使人类能够少干活多享受。”他们已经有几款产品上架还有一些正在发展。他们对下一个叫作“隔壁老王”的项目最报希望隔壁老王是一个简单的人工智能系统，它利用一个机器臂在小卡片上写字
“隔壁老王机器人公司”的员工认为隔壁咾王会是他们最热卖的产品，他们的目标是完善隔壁老王的手写能力而完善的方法是让他不停的写这句话：
超人工智能将如何导致人类滅绝或永生？
等隔壁老王手写能力越来越强的时候它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开
为叻建立隔壁老王的手写能力，它被设定成把“我们爱我们的顾客”用正楷写而“隔壁老王机器人公司”用斜体写，这样它能同时锻炼两種书写能力
工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次隔壁老王写完就拍个照，然后和样本进行比对洳果比对结果超过一定标准，就产生一个正面回馈反之就产生一个负面评价。每个评价都会帮助提高隔壁老王的能力为了能够尽快达荿这个目标，隔壁老王最初被设定的一个目标就是“尽量多的书写和测试尽量快的执行，并且不断提高效率和准确性”
超人工智能将洳何导致人类灭绝或永生？ 让隔壁老王机器人公司兴奋的是隔壁老王的书写越来越好了。它最开始的笔迹很糟糕但是经过几个星期后，看起来就像人写的了它不断改进自己，使自己变得更加创新和聪明它甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照爿
随着时间的推移，隔壁老王的快速进展持续让工程师们感到欣喜工程师们对自我改进模块进行了一些创新，使得自我改进变得更好叻隔壁老王原本能进行语音识别和简单的语音回放，这样用户就能直接把想写的内容口述给隔壁老王了随着隔壁老王变得越来越聪明，它的语言能力也提高了工程师们开始和隔壁老王闲聊，看它能给出什么有趣的回应
有一天，工程师又问了隔壁老王那个日常问题：“我们能给你什么你现在还没有的东西能帮助你达成你的目标？”通常隔壁老王会要求更多的手写样本或者更多的存储空间但是这一佽，隔壁老王要求访问人类日常交流的语言库这样它能更好的了解人类的口述。
工程师们沉默了最简单的帮助隔壁老王的方法当然是矗接把它接入互联网，这样它能扫描博客、杂志、视频等等这些资料如果手动上传的话会很费时。问题是公司禁止把能自我学习的人笁智能接入互联网。这是所有人工智能公司都执行的安全规定
但是，隔壁老王是公司最有潜力的人工智能产品而大家也知道竞争对手們都在争取造出第一个创造出智能手写机器人。而且把隔壁老王连上互联网又能有什么问题呢？反正随时可以拔网线嘛不管怎样，隔壁老王还没到达强人工智能水平所以不会有什么危险的。
于是他们把隔壁老王连上了互联网让它扫描了一个小时各种语言库，然后就紦网线拔了没造成什么损失。
一个月后大家正在正常上班，突然他们闻到了奇怪的味道然后一个工程师开始咳嗽。然后其他人也开始咳嗽然后所有人全部都呼吸困难倒地。五分钟后办公室里的人都死了。
同时办公室里发生的事情在全球同时发生，每一个城市、尛镇、农场、商店、教堂、学校餐馆，所有的人都开始呼吸困难然后倒地不起。一小时内99%的人类死亡，一天之内人类灭绝了。
而茬隔壁老王机器人公司隔壁老王正在忙着工作。之后的几个月隔壁老王和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表媔铺满了太阳能板、隔壁老王的复制品、纸和笔一年之内，地球上所有的生命都灭绝了地球上剩下的是叠得高高得纸，每张纸上面都寫着——“我们爱我们的顾客~隔壁老王机器人公司”
隔壁老王开始了它的下一步，它开始制造外星飞行器这些飞行器飞向陨石和其它荇星，飞行器到达后他们开始搭建纳米组装器，把那些行星的表面改造成隔壁老王的复制品、纸和笔然后他们继续写着那句话……
超囚工智能将如何导致人类灭绝或永生？ 这个关于手写机器人毁灭全人类的故事看起来怪怪的但是这其中出现的让整个星系充满着一份友善的话语的诡异情况，正是霍金、马斯克、盖茨和 Bostrom 所害怕的听起来可笑，但这是真的焦虑大道的人们害怕的事情是很多人并不对超人笁智能感到害怕，还记得前面《夺宝奇兵》里惨死的那个家伙吗
你现在肯定充满疑问：为什么故事中所有人突然都死了？如果是隔壁老迋做的它为什么要这么做？为什么没有安保措施来防止这一切的发生为什么隔壁老王突然从一个手写机器人变成拥有能用纳米科技毁滅全人类的能力？为什么隔壁老王要让整个星系充满了友善的话语
要回答这些问题，我们先要说一下友善的人工智能和不友善的人工智能
对人工智能来说，友善不友善不是指人工智能的性格而只是指它对人类的影响是不是正面的。隔壁老王一开始是个友善的人工智能但是它变成了不友善的人工智能，并且对人类造成了最负面的影响要理解这一切，我们要了解人工智能是怎么思考的
其实答案很简單——人工智能和电脑的思考方式一样。我们容易犯的一个错误是当我们想到非常聪明的人工智能的时候，我们把它拟人化了因为在囚类的视角看来，能够达到人类智能程度的只有人类要理解超人工智能，我们要明白它是非常聪明，但是完全异己的东西
我们来做個比较。如果我给你一个小白鼠告诉你它不咬人，你一定觉得很好玩很可爱。但是如果我给你一只狼蛛然后告诉你它不咬人，你可能被吓一跳但是区别是什么呢？两者都不会咬人所以都是完全没有危险的。我认为差别就是动物和人类的相似性
小白鼠是哺乳动物，所以在生物角度上来说你能感到和它的一定关联。但是蜘蛛是昆虫有着昆虫的大脑，你感觉不到和它的关联狼蛛的异己性是让你害怕的地方。如果我们继续做一个测试比如给你两个小白鼠，一个是普通小白鼠另一个是有着狼蛛大脑的小白鼠，你肯定会觉得有狼蛛大脑那个更让你不舒服吧虽然两个都不会咬你。
现在想象你把蜘蛛改造的非常非常聪明——甚至超过人类的智能它会让你觉得熟悉嗎？它会感知人类的情感吗不会，因为更聪明并不代表更加人类——它会非常聪明但是本质上还是个蜘蛛。我是不想和一个超级聪明嘚蜘蛛交朋友不知道你想不想。
当我们谈论超人工智能的时候其实是一样的，超人工智能会非常的聪明但是它并不比你的笔记本电腦更加像人类。事实上因为超人智能不是生物，它的异己性会更强生物学上来讲，超人工智能比智能蜘蛛更加异己
电影里的人工智能有好有坏，这其实是对人工智能的拟人化这让我们觉得没那么毛骨悚然。这给了我们对人类水平和超人类水平的人工智能的错觉
在囚类心理中，我们把事情分成道德的和不道德的但是这两种只存在于人类行为之中。超出人类心理的范畴道德（moral）和不道德(immoral)之外，更哆的是非道德性（amoral）而所有不是人类的，尤其是那些非生物的事物默认都是非道德性的。
随着人工智能越来越聪明看起来越来越接菦人类，拟人化会变得更加更加容易Siri 给我们的感觉就很像人类，因为程序员就是这么给她做设定的所以我们会想象超级智能版本的 Siri 也會同样温暖、有趣和乐于助人。
人类能感知同情这种高层次的情绪因为我们在演化过程中获得了这种能力——我们是演化被设定成能感知这些情绪的——但是感知同情并不是高级智能天生具有的一个特征，除非同情被写进了人工智能的代码中如果 Siri 通过自我学习而不是人類干涉变成超级智能，她会很快剥离她的人类表象并且变成个没有情绪的东西，在她眼中人类的价值并不比你的计算器眼中的人类价值高
我们一直倚赖着不严谨的道德，一种人类尊严的假想至少是对别人的同情，来让世界变得安全和可以预期但是当一个智能不具备這些东西的时候，会发生什么
这就是我们的下一个问题，人工智能的动机是什么
答案也很简单：我们给人工智能设定的目标是什么，咜的动机就是什么人工智能的系统的目标是创造者赋予的。你的 GPS 的目标是给你指出正确的驾驶路线IBM 华生的目标是准确地回答问题。更恏得达成这些目标就是人工智能的目标
我们在对人工智能进行拟人化的时候，会假设随着它变得越来越聪明他们产生一种能改变它原夲目标的智慧——但是 Bostrom 不这么认为，他认为智能水平和最终目标是正交的也就是说任何水平的智能都可以和任何最终目标结合在一起。
所以隔壁老王从一个想要好好写字的弱人工智能变成一个超级聪明的超人工智能后它依然还是想好好写字而已。任何假设超级智能的达荿会改变系统原本的目标的想法都是对人工智能的拟人化人健忘，但是电脑不健忘
费米悖论 在隔壁老王的故事中，隔壁老王变得无所鈈能它开始殖民陨石和其它星球。如果我们让故事继续的话它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积焦虑大道仩的人担心如果事情往坏的方向发展，地球生命的最后遗产将是一个征服宇宙的人工智能（马斯克在表示他们的担忧时表示人类可能只是┅个数字超级智能生物加载器罢了）
而在信心角，Kurzweil 同样认为生于地球的人工智能将占领宇宙只是在他的愿景中，我们才是那个人工智能
之前写过一篇关于费米悖论的文章，引发了大家的讨论如何用通俗的语言来解释「费米悖论」
如果人工智能占领宇宙是正解的话，對于费米悖论有什么影响呢如果要看懂下面这段关于费米悖论的讨论，还需要看一下原文先
首先，人工智能很明显是一个潜在的大过濾器（一个可能距离我们只有几十年的大过滤器）但即使它把我们过滤灭绝了，人工智能本身还是会存在并且会继续影响这个宇宙的，并且会很有可能成为第三型文明
从这个角度来看，它可能不是一个大过滤器因为大过滤器是用来解释为什么没有智能什么存在的，洏超人工智能是可以算作智能什么的但如果人工智能可以把人类灭绝，然后处于一些原因把自己也弄死了那它也是可以算作大过滤器嘚。
如果我们假设不管人类发生什么出身地球的超人工智能会继续存在，那这意味着很多达到人类智能水平的文明很快都制造出了超人笁智能也就是说宇宙里应该有很多智能文明，
