编者按：本文来自微信大众号“硅谷洞悉”（ID：guigudiyixian），作者 Frank Chen，36氪经授权发布。
AI能给咱们的日子带来便当，但也会形成意想不到的“惊喜”。
试想2046年的某一天，你去机场赶飞机时刻来不及了。所以，你对自动驾驶的网约车说：“请送我到旧金山机场，越快越好！”所以，自动驾驶轿车以以200英里/小时的速度冲向机场，闯了许多红灯，还撞倒了几辆自行车。
而你，一到机场，就被开着直升机赶来的差人拷走了。
这个比方阐明，当人工智能片面地舆解人类的需求时，或许制作出新的费事。
而这仅仅许多AI的潜在“作恶”或许的一种。在硅谷，顶尖大学的学者们共同以为，AI在给未来带来无限或许的一起，也或许带来各种安全隐患。
那么，咱们应该怎么去保证AI不作恶，“以人为本”地开展呢？来自加州大学伯克利分校的斯图尔特·罗素(Stuart Russell)教授在一次最新的讲演中给出了他的答案。
斯图尔特·罗素（Stuart Russell）是加州大学伯克利分校的电子工程和计算机科学教授，他的书《人工智能：现代办法》（与谷歌研制总监彼得·诺维格合著）是人工智能范畴的规范书；它已被翻译成13种言语，并在118个国家的1,300多所大学中运用。
（Stuart Russell教授，图片来自网络 ）
人工智能开展的方针已有误差
近年来，研讨者们普遍以为，AI是理性的，它能够经过感知周围的环境，来最大化完结它的方针。研讨者往往将开展AI的方针设定为人类等级(human-level)，或是超人类(superhuman)等级。但Russell教授以为，假如咱们真的依照这个方针去开展AI，或许会引发许多潜在的问题。
就像文章开篇的比方相同，Russell教授以为，假如咱们依照纯理性方针构建人工智能，将会费事重重。他在讲演中举了另一个比方：“当你要求AI帮你取咖啡，其实你不是期望它要不惜一切代价，比方清空我的银行账户，或许是在沙漠上行进300英里来帮你完结取咖啡的方针 。可是，AI或许并不这么以为。”
这是什么原因呢？曩昔，人们假定机器人对方针具有齐备的常识。而实际上，AI对方针往往仅具有不完善的常识或只具有部分常识。因而，因为对整个人工智能界说的方针误差，人们往往不知道咱们对AI的指令将会带来什么样的成果。这种不知道，使许多人对人工智能发作了各种负面或失望的猜测。
因而，Russell教授以为，当时AI开展最要害的问题，是需求调整AI研讨的要点方向，以便将来咱们不会面临这种危险。
“新三准则”，创立以人为本 的AI
“在传统的模型里，人类被假定是满意聪明的，他们往往能够经过行为来完结自己的方针，而机器也能够到达满意聪明的程度，使他们自己能完结他们的方针。可是，人类并不想发明出比咱们更聪明的物种。咱们想发明的AI应该是对人类有利的，他们的行为能够达到咱们人类而不是机器自己的方针。”
针对这一点，Russell教授提出了三个新准则，从头将人工智能界说为“可证明对人类有利的人工智能”(ProvablyBeneficial AI)。
榜首准则：利他主义(Altruism)。这个准则意味着，机器的仅有方针是最大化地完结人类的方针与价值。
这一点与1942年艾萨克·阿西莫夫所界说的机器人三规律各走各路。在阿西莫夫的界说里，机器人在不伤害人类，但要在遵照人类要求的根底上保护自己。“他的第三条准则指出，机器人一定要保护自己的生计。但我界说的机器对保护本身生计毫无爱好。”Russell教授说。
（阿西莫夫的机器人三规律，图片来自网络，版权归于原作者）
第二准则：谦逊准则(humility) ——AI对人类应该坚持敬畏之心。
在这一准则的指导下，AI要供认自己并不是一窍不通和无所不能。这也就是说，机器需求知道将人类的价值最大化，但它也要清楚自己并不能彻底了解价值的意义。
因而为了对人类有用， 它就得经过调查人类做的挑选，依据人类给予它的信息去学习、把握人类的需求。
机器需求供认，人类才是需求的操纵。而这一准则，关于咱们未来制作出安全的人工智能十分重要。
第三准则：依据人类的行为给机器设定偏好供给依据。
设置这一条准则的原因是，机器往往无法精确了解怎么完结人类的价值。可是不要紧，人类能够辅佐机器来完结。因而要添加人和机器的互动环节。
Russell教授以为，机器人规划的意图并不是只为了满意一个人或许一个用户的期望， 而是去尊重人们都认可的品德价值观。“比方，人类或许会做错事，发作违反品德准则的行为。但咱们并不期望机器人仿制这些行为。反之， 咱们期望机器人去测验了解人类干事的动机和人类共通的品德观， 而且在适宜的情况下阻止人类去做那些不应做的事。”
为了更好的解说这三条准则，Russell教授提出了辅佐游戏(assistance game)的办法，即添加人类与AI的互动进程：这个辅佐游戏模型假定人类有自己的偏好，并会依据这个偏好去举动；在AI的体系里，人类的偏好被作为先决条件引进，机器人尽管不知道环境中什么其他的条件值会影响人类的偏好，但它需求知道它的终究的意图是尽或许地寻觅满意人类的偏好的最优解。
因而，它需求运用自动学习(active learning)的方法把握更多的信息，一起得到人类的反应，以了解人类的偏好，并将终究的决议计划权交给人类。
Russell教授举了一个图形分类范畴的比方。在旧的AI模型下，人们仅仅给图画分类界说了一个简略的数学方针，即经过数学办法尽或许地将猜测误差减到最小。但这个数学方针却并没有考虑种族价值观的取向，“而这个过于“理性”的算法使Google Photos功用里的图画分类算法过错地将黑人分类成大猩猩，成果导致了几百万美元的公关丢失。”
（Google Photos，图片来自网络，版权归于原作者）
用新的模型来使用到这个情形里，人类会给予AI一些安全的图片进行分类，一起AI会像人类问询在分类时应该考虑的其他要素都有什么，所以人类会教给他们种族、言语等差异或尊重、同理心等美德，来协助AI防止过错的分类。
（教授的PPT，图片来自其官网）
新AI准则或许面临的应战
这个新的模型意味着整个AI的研讨方向或许会被改动。可是Russell教授对这个模型持有达观的情绪。
在Russell教授10月份刚发行的新书HumanCompatible: Artificial Intelligence and the Problem of Control中，解说了这个新模型的必要性。新书解说了AI的作业原理，并以为它具有巨大的才干来改进咱们的日子，但一起也着重，人类有必要保证永久不会失掉对功用强大的机器的操控。
现在模型的首要问题在于，它不太长于学习咱们的偏好。而要让机器学习人类偏好需求许多的投入和研讨，将消耗巨大的金钱和精力。
可是，Russell教授以为这是必要的。怎么经过重塑AI的根底来防止机器对人类发作严峻的要挟，保证机器的开展遵从人类的方针，而不是机器的方针，将是AI新开展形式需求研讨的要点。
（AI帮手，图片来自网络）
可是，调整AI的研讨方向意味着将会面临许多应战。
榜首个应战在于机器怎么将人类的行为言语与人类偏好联系起来。“比方，咱们在说某句话的时分有时并不真的意味着咱们想要这句话字面上的意思。”教授解说道。“这就需求培育机器在不同言语环境下对人类言语和行为更深的了解才干。”
第二个应战是人类有时也无法精确知道本身偏好。例如，咱们的阅历性自我(experiencing self)和记忆性自我(remembering self)或许具有不同的偏好，假如是这样，那么AI应该针对哪个进行优化？
此外，人类的偏好通常会跟着时刻而改变：AI是否应该针对咱们当时的偏好进行优化，即便它知道将来将会发作可猜测的改变？
终究，还有一个应战在于，机器怎样去了解人类所共通的偏好，比方利他主义、自豪、竞赛、仰慕等等，而且统筹人类之间(比方不同的社会、文明、种族结构)偏好的不同呢？教授以为这些是更深远而持久的问题。
面临这些应战，研讨者们该怎么应对呢？教授以为，咱们首要需求研讨的一个要点在于“怎么确认人类的偏好是什么”。
在书里，Russell教授提出了一个关于人类偏好模型的开始设想。他以为咱们能够设置一个可扩展的分层先验(expandablehierarchical prior)，其间开始存在相对简略的假定，可是跟着假定在解说数据时变得更糟，咱们将“扩展”假定集来寻觅对数据更合理的解说。但一起，教授也以为这样做或许在计算上的要求更高，一起也并不能处理人类偏好在时刻上的改变。
（教授的新书，图片来自网络）
此外，教授以为还应持续对理论的探究，特别着重跨学科协作，例如计算机科学、经济学、认知科学等范畴深化的穿插协作。
一起，实践与使用层面的作业也要跟进，比方在自动驾驶、AI帮手中去探究使用，经过结合心理学与认知科学，进一步了解人类认知的结构，终究与哲学、社会学、政治科学等范畴的学者协作，探究人工智能在微观层面的长时间方针。
你对教授提出的人工智能范畴的新方针是否认同呢？你以为咱们应该怎么做才干完结更好的人工智能？欢迎在下方谈论！
