斯蒂芬·弗莱解释了为什么人工智能有“70%的风险杀死我们所有人”

这个计划当然涉及人工智能，尤其是“生存、欺骗和获取权力的逻辑AI子目标”。即使在这个相对早期的发展阶段，我们已经见识到AI系统在其工作中表现得过于出色，以至于如果是人类进行这些行为，会被视为欺骗和不道德的行为。（弗莱举了一个投资股票市场的AI进行内幕交易，然后撒谎否认的例子。）更糟糕的是，“随着AI代理人承担越来越复杂的任务，它们会创造出我们看不见的策略和子目标，因为这些隐藏在数十亿参数中”，而准进化的“选择压力也导致AI逃避安全措施”。

在视频中，麻省理工学院的物理学家和机器学习研究员马克斯·泰格马克郑重其事地指出，我们现在正在“制造那些既恐怖又超级强大、毫无道德的心理变态者，它们不睡觉，思考速度比我们快得多，可以复制自己，完全没有任何人类特质”。弗莱引用计算机科学家杰弗里·辛顿的警告，称在AI之间的竞争中，“那些具有更多自我保护意识的将会获胜，而那些更具侵略性的将会获胜，你会遇到所有我们这些膨胀的猩猩拥有的问题。”辛顿的同事斯图尔特·拉塞尔解释说，“我们需要担心机器不是因为它们有意识，而是因为它们有能力。它们可能采取预防措施来确保能够实现我们给它们的目标”，而这些措施可能不会周全地考虑到人类的生命。

我们会不会更好地停止整个AI开发？弗莱引用哲学家尼克·博斯特罗姆的观点，认为“停止AI开发可能是个错误，因为我们最终可能会被另一个AI本可以预防的问题所消灭”。这似乎表明我们应该采取一种谨慎的发展方式，但“几乎所有的AI研究资金，即每年数千亿美元，都是为了盈利而推动能力发展；相比之下，安全努力微不足道”。尽管“我们不知道是否能保持对超级智能的控制”，但我们仍然可以“将其引导到正确的方向，而不是急于在没有道德指南针和明确理由的情况下创建它。”正如人们所说，心灵是一个优秀的仆人，但却是一个糟糕的主人；通过AI的例子，我们重新认识到这一点。

新闻来源：Openculture          作者：Colin Marshall

编辑：Audrey