Stripe CEO Patrick Collison 长文发问：AI 的「好结局」到底长什么样？如果 AI 有道德价值，人类在功利计算里会被淹没

关于 AI，我一直在想两件事：

• 人们经常强调 AI 涉及的风险，这些风险无疑非常真实。但让我感到惊讶的是，积极情景的轮廓竟如此难以把握。积极愿景里有一些容易感知、也经常被提到的要素——治愈更多疾病、更多物质丰裕等等——听起来很棒，但它们本身只是原料。我好奇的是，更大的均衡应该是什么样子。人们还工作吗？如果工作，为什么？他们的边际贡献是什么？如果不工作，资源怎么分配？什么是稀缺的？人类和 AI 的比例是多少？人类还掌控局面吗（无论这意味着什么）？有时人们会拿「文明」（Culture）系列小说当作一种情景，但我不确定它描绘的是一个理想的结果。（AI 管理一切，人类在游戏里竞争？Iain Banks 本人就说过，「文明」里的人类「介于乘客、宠物和寄生虫之间」。）还有 Richard Brautigan 那首著名的诗，但我们想要「回到我们的哺乳动物兄弟姐妹身边」吗？（这难道不是把《创世记》倒带回去吗？）我们可以说，站在 1700 年很难想象 1900 年的世界，这当然没错。但 1700 年没有人试图在几年之内重塑人类本身——事情必然是缓慢地、一点一点展开的，因此也有纠错的可能。考虑到 AI 的进展速度可能有多快，上行情景如此模糊，感觉很奇怪。

• 关于 AI 是否有意识、或者我们如何知道它们是否有意识的讨论越来越多，而人们常常假定这方面的结论与道德价值问题相关。乍一看，这似乎是个相当冷门、无害，甚至荒唐的问题。（还记得人们对 Blake Lemoine 那番担忧的反应吗。）撇开这场辩论本身的措辞或相关的划界标准不谈，在我看来这是一个利害极高的问题，因为肯定的答案——也就是承认 AI 具有道德价值——大概意味着，在任何功利主义计算中，AI 的总价值很快就会超过人类。AI 会极其睿智聪明，数量也会多得多（尤其是考虑到即将到来的未来以及尚未「诞生」的 AI）。因此，一旦考虑到很快可能存在的千万亿个 AI，哪怕微乎其微的道德价值乘起来也会是个巨大的数字。（这实际上是诺齐克「效用怪兽」的分布式版本。）如果这个结论令人难以接受，我认为必须拒绝以下三个命题之一：AI 可以具有道德价值这一前提；功利主义本身；或者认为它们甚至有可能比人类多得多的这一信念。

在这两个问题上（未来社会的轮廓；AI 的道德价值），都存在剧烈变化的可能。如今，人们在争论数据中心。我好奇的是，随着越来越多的人理解这些中期问题及其利害关系，公众对 AI 的支持会如何演变。什么样的 AI 愿景会让大多数人感到兴奋？