“我们对文明所爱的一切都是智慧的产物，所以用人工智能增强人类智能有促进文明走向前所未有的兴盛的潜力。但，前提是能我们保持这项技术有利无弊。”——未来生命研究所总裁 马克斯·泰格马克

什么是人工智能？

从SIRI到自动驾驶汽车，人工智能（AI）正在迅速地发展。虽然科幻小说经常将人工智能描绘成具有类人特性的机器人，但人工智能可以涵盖从谷歌（Google）的搜索算法，IBM沃森 (人工智能程序)，到自动武器的任何科技。

当今的人工智能被正确地称为专用人工智能（或弱AI），因为它被设计来执行的任务范围狭窄（例如，仅执行面部识别，或只进行互联网搜索，或仅驾驶汽车）。然而，许多研究人员的长期目标是创建通用人工智能（AGI或强AI）。虽然专用人工智能 能在其特定的任务上超越人类，如下棋或解方程，AGI将在几乎所有认知任务上超越人类。

为何研究人工智能的安全性？

在短期内，保障AI对社会有益的科研范畴可涵盖诸多领域如经济学和法学，以及验证法、有效性计算、安全性和控制论等技术层面课题。如果安全保障仅限于防止你的笔记本电脑宕机或被黑客入侵，就算出了问题也只是给你添点小麻烦。但当AI系统控制汽车、飞机、心脏起搏器、自动交易系统或电网时， 我们必须保证该系统完全遵照我们的指令，否则后果将不可设想。另一个短期挑战是如何防止自主武器的毁灭性军备竞赛。

从长远来看，一个重要的问题是，如果我们成功创造了能在所有认知功能上超过人类的通用人工智能，将会发生些什么。正如约翰·古德（Irving John Good）在1965年所说的，设计更有智慧的AI系统本身就是一个认知任务。这样的系统有潜力执行递归式的自我完善，触发智能爆炸，并远远地超越人类智力。通过发明革命性的新技术，这样的超级智能可以帮助我们消除战争，疾病和贫困。因此，创造强AI可能是人类历史上最重大的事件。然而，一些专家表示担心，人类的历史也会随着此类的超强大AI的诞生戛然而止，除非我们学会在AI成为超级智能之前即可使其与我们同心所向。

有些人质疑强AI是否会实现， 也有些人坚信创建超级智能对人类必定是有益的。FLI承认这两种情形皆有可能，但我们更意识到人工智能系统具有有意或无意造成巨大危害的潜力。我们相信今日的研究意在防患于未然，使得未来人们受益于AI的同时，规避潜在风险隐患。

人工智能如何可能制造危险？

大多数研究人员同意，一个超智能AI不可能产生人类的情感，如爱或恨。他们也认为人们没有理由期望AI有意识地趋善向恶。当考虑AI如何成为风险时，专家认为有两种情况最有可能发生：

AI被设计执行毁灭性任务：自主武器（autonomous weapon）是为杀戮而生的人工智能系统。若落入恶人手中，这些武器很容易便可造成大量伤亡。此外，AI军备竞赛也可能无意中引发AI战争，导致大量伤亡。为了避免被敌对势力从中阻挠，这些武器的“关闭”程式将被设计得极为复杂，因而人们也可能对这种情况失去掌控。这种风险虽然也存在于专用人工智能 （narrow AI）中，但随着AI智能和自驱动水平的提高，风险也会跟着增长。AI被开发进行有益的任务，但它执行的过程可能是具破坏性的：这可能发生在我们尚未达到人类和人工智能目标的一致性（fully align），而解决人类和人工智能目标一致性的问题并不是一件容易的事。试想，如果你召唤一辆智能车将你以最快速度送到机场，它可能不顾一切地严格遵从你的指令，即使以你并不希望的方式——你可能因超速而被直升机追逐或呕吐不止。如果一个超智能系统的任务是一个雄心勃勃的地球工程项目，副效果可能是生态系统的破坏，并把人类试图阻止它的行为视为一个必须解除的威胁。

以这些例子来看，我们对高级AI的担忧并非在于其可能产生恶意，而是它可能达到的能力。超智能AI将非常善于完成其目标，如果这些目标不与我们的目标形成一致，我们麻烦就大了。正比如，你可能并非对蚂蚁深恶痛绝，也没有踩死蚂蚁的恶意，但如果你负责水电绿色能源项目，而项目开发的所在地区有一个蚁丘会因为大水而被淹没，那只能说是算蚂蚁倒霉罢了。人工智能安全研究的一个关键目的就是要避免将人类置于和这些蚂蚁同样的位置。

为何人们最近对AI安全感兴趣？

史蒂芬·霍金、伊隆·马斯克、史蒂夫·沃兹尼亚克、比尔·盖茨等许多科技大腕和许多领导AI研究的科学家最近在媒体和公开信中对AI风险表示关心。为什么这个话题在近期会突然出现在多则头条新闻中呢？

强AI的成功实现一直被认为是天方夜谭，即使得以达成也是最少是几千年以后的事情。然而，由于最近的突破性研究和许多AI里程碑的创造，在仅仅五年前被专家认为是几十年后才能达到的技术，现在已经实现。这让许多专家认真地考虑在我们整个人生中出现超级智能的可能性。虽然一些专家仍然猜测类人AI在几个世纪以后才可能发生，大多数AI研究员在2015年波多黎各会议中预测人类智能级别的人工智能在2060年之前便可能产生。因为AI安全研究可能耗费十几年才能完成，所以我们应该乘时势之便进行这些方面的研究。

由于AI有可能变得比人类更聪明，我们并没有确实的方式来预测它的行为将会是如何。对于AI的发展可能衍生出什么后果，我们不能把过去的技术发展作为参考，因为我们从来没有创造出任何能够在智慧上超越人类的科技。事实上，我们最能作为参考的依据便是人类本身的进化史。人类之所以能在今天成为这个星球的万物之灵，并不是因为我们最强、最快或体积最大，而是因为我们是最具智慧的。如果有一天，我们不再是世上最聪明的，我们还能够自信对世界拥有控制力吗？

未来生命研究所的立场是，只要我们管理科技的智慧比技术不断增长的力量更加强劲，我们的文明就会持续蓬勃发展。针对AI技术，未来生命研究所的立场是，我们应该在不阻碍AI发展的前提下，通过支持人工智能安全研究来加速对AI科技的管理能力。

关于高级AI的误传

关于人工智能的未来以及它对人类意味着什么的对话已经正在进行。当下，AI技术有许多连顶尖专家都无法达到共识的争议，例如：AI对就业市场未来的影响; 人类智能级别的人工智能是否/何时会被开发;AI开发是否会导致智力爆炸;以及这是我们应该欢迎还是恐惧的事情。但当下也存在着许多由误解或人们各说各话所引起的伪争论。为了帮助我们专注于对有意义的争议和问题做出讨论，而不是分心在错误的信息上，让我们首先将一些最常见的误传解除掉。

与其把时间浪费在以上所诉的误传中，我们不如将精力专注在那些真实存在，让专家无法达成一致的有趣争议上。比如说，你想要什么样的未来？我们应该开发致命的自主武器吗？您希望通过工作自动化实现什么？你会给现在的孩子们什么职业建议？你希望有一个新的职业替代旧时代职业的社会，还是一个每个人都可以享有休闲的生活和由机器生产出的财富的无业社会？往后，你希望我们创造出超智能的生命，并传播到我们的宇宙中吗？我们是否会控制智能机器还是由它们控制我们？智能机器会取代我们，与我们共存还是与我们合并？在人工智能的时代中，身为人类的意义是什么？你希望人类拥有什么样的意义，而我们又如何导向那个未来呢？