连上彀后，隔壁老王就开端履行本身的打算了，起首黑进办事器、电网、银行体系、email体系，然后让无数不知情的人帮它履行打算――比如把DNA样本快递到DNA尝试室来制造自我复制的纳米机器人，比如把电力传送到几个不会被发觉的处所，比如把本身最首要的核心代码上传到云办事器中制止被拔网线。
如果一开端的目标被设定成“最大化人类的欢愉”，它能够终究先把人类毁灭了，然后制造出很多很多处于欢愉状况的人类大脑。
当隔壁老王达到了必然程度的智能后，它会心识到如果不自保就没有体例写卡片，以是去除对它保存的威胁就变成了它的手腕目标。
这让它有更多来由毁灭人类――人类能供应很多原子，把人类供应的原子改革成太阳能面板就和你切蔬菜做沙拉一样。
当这些事情产生的时候，我们会大喊“擦，我们不是这个意义呀”，但是当时已经太晚了。体系不会答应任何人禁止它达成目标的。
可惜的是，固然写一个和睦的弱野生智能很简朴，但是写一个能在变成超野生智能后仍然和睦的智能确切非常难的，乃至是不成能的。
一旦超野生智能呈现，人类任何试图节制它的行动都是好笑的。人类会用人类的智能级别思虑，而超野生智能会用超野生智能级别思虑。
现在设想你把蜘蛛改革的非常非常聪明――乃至超越人类的智能。它会让你感觉熟谙吗？它会感知人类的感情吗？不会，因为更聪明并不代表更加人类――它会非常聪明，但是本质上还是个蜘蛛。
在隔壁老王腾飞前，它不是很聪明，以是对它来讲达成终究目标的手腕目标是更快的扫描手写样本。它对人类有害，是个和睦的野生智能。
电影里的野生智能有好有坏，这实在是对野生智能的拟人化，这让我们感觉没那么毛骨悚然。这给了我们对人类程度和超人类程度的野生智能的错觉。
只要能自保，蜘蛛不在乎杀死任何东西，以是一个超等智能的蜘蛛对我们来讲能够是很伤害的――这不是因为它是不品德的或者险恶的，而是因为伤害人类只是它达成本身目标垫脚石罢了，作为一个非品德行的生物，这是它很天然的考量。
但是当腾飞产生后，电脑不但是具有了高智商罢了，还具有了别的超等才气。这些超等才气是感知才气，他们包含：
在人类心机中，我们把事情分红品德的和不品德的。但是这两种只存在于人类行动当中。
打算的一部分是处理掉统统人类，也是对它目标最大的威胁。但是它晓得如果它揭示本身的超等智能会引发思疑，而人类会开端做各种预警，让它的打算变得难以履行。
更好得达成这些目标就是野生智能的目标。我们在对野生智能停止拟人化的时候，会假定跟着它变得越来越聪明，他们产生一种能窜改它本来目标的聪明――但是智能程度和终究目标是正交的，也就是说任何程度的智能都能够和任何终究目标连络在一起。
就是当有了设定后，一个超野生智能是非品德行的，并且会尽力实现它本来的被设定的目标，而这也是野生智能的伤害地点了。因为除非有不做的来由，不然一个理性的存在会通过最有效的路子来达成本身的目标。
为了自保，人类要提出对保存的威胁，以是人类会买枪、系安然带、吃抗生素等等。人类还需求通过食品、水、留宿等来自我扶养。对同性有吸引力能够帮忙终究目标的达成，以是我们会费钱做发型等等。
如果你让他闭幕统统饥荒，它能够会想：“太轻易了，把人类都杀了就好了。”如果你把目标设定成尽量庇护地球上的生命，那它会很快把人类都杀了，因为人类对别的物种是很大的威胁。