“那么把这个题目简朴化的表达，比如我们把野生智能放入一个小盒子里，制造一个保险的软件环境，比如一个它没法逃脱的假造实际摹拟器。”
“是以超等AI能够正暗藏在此中，就像原子能暗藏在汗青中直到1945年被唤醒。”
“……记得在二三十年前的时候，我和很多的数学家、工程师、野生智能专家一起事情过，我们常常会坐在一起会商并思虑关于将来的野生智能及其与之相干的事情。”
“而当付与该任务的野生智能是一个超等聪明体，超等AI的时候，它就会心识到有一个更好的体例能够达到这个结果或者说完成任务：它能够节制天下，并在统统人类的脸部肌肉上插入电极让人类不竭地笑。”
“如果我们能够处理这个题目，当我们迈入真正的超等智能期间后，就能更加顺利，这对于我们来讲是非常值得一试的东西。”
“但是，我们真的有实足的信心和掌控它不成能会发明一个缝隙，一个能够让他逃脱的缝隙吗？”
“以是，任何诡计节制一个超等AI的行动都是极其好笑的，我们不能对我们能够永久节制一个超等聪明体而表示出过分的自傲，它总有一天会摆摆脱制，而到那以后呢，它是否会是一个仁慈的神？”
“以是必定是有来由的，我们人类是聪明的，我们能够遇见到威胁并尝试制止，一样的事理比我们更聪明的超等AI就更不消说了，它只会做的比我们更超卓。”
“固然明天我们的野生智妙技术生长迅猛，且日渐成熟，但还是未能达到与人类一样，具有强大的跨范畴复合型综合性子的学习才气。”
“又比如这个超等AI的任务是庇护仆人的安然，那么它会挑选更优的措置体例，它会把仆人囚禁在家中不让出门就能更好的庇护仆人的安然。在家里能够还是有伤害的，它还会考虑到各种能够威胁并导致任务失利的身分，并将其一一抹除，毁灭对仆人带有歹意的统统身分、乃至节制天下，这统统的统统行动都是为了任务不失利，它将做到最极致的优化挑选并为此付诸行动来达到任务完成的目标。”
“提及AI能够存在的负面影响，对于机器人具有自我思惟并抵挡人类而‘叛逆’的设法，我以为是绝大多数人的遍及认知，这是弊端的但也不全弊端。明天我们首要聊的不是机器人具有自我思惟和叛变的题目，明天我们聊聊关于野生智能，假定野生智能比人类还聪明时这个天下会变成甚么样？”
“这一点值得深切思虑，到底是甚么启事形成了如此分歧平常的近况？”
“我们人类现在把握的野生智能，形象的说是把某项指令输入到一个箱子里，这个过程我们需求法度员把知识转化为可运转的法度，为此会建立起一套专业的体系，php、C++等计算机说话。”
“那么对于这个题目能够被有效的处理是否保持悲观？”
“以是，当超等AI呈现的时候，人类的运气或许会取决于这个超等聪明体想要做甚么。”
“我们不需求对超等AI写下统统我们在乎的事情，乃至把这些事情变成计算机说话，因为这是永久不成能完成的任务。而应当是，我们缔造出的野生智能用它本身的聪明来学习我们的代价观，能够鼓励它来寻求我们的代价观，或者去做我们会同意的事情，去处理富有代价的题目。”
“这并非不成能，而是能够的，其成果能够令人类受益匪浅，但它不会是主动产生的，它的代价观是需求指导的。”