Alex Bores：国会应在今年禁止 AI「递归自我改进」（RSI），理由是 METR 对 Anthropic 的评估

每家 AI 公司都在努力把 AI 研究完全自动化，让 AI 去造下一代 AI。

这叫递归自我改进（Recursive Self Improvement，RSI）。

OpenAI 说他们有望在 2028 年 3 月前做到。

Anthropic 的员工说他们有望在 2027 年做到。

下面这份 METR 报告表明，他们很可能是对的。

以目前的技术来说，这是个坏主意。当前 AI 里的任何错误或未对齐，都可能在每一代中被放大。

在 AI 公司到达这个门槛之前，我们不会再有一次选举。

国会应该禁止 RSI，可能的话就在今年。

这是一个相当有共识的观点，以不同形式得到以下人士和机构的支持：

• Bernie Sanders
• Steve Bannon
• Ralph Nader
• Glenn Beck
• 共和党和民主党的州总检察长
• 吹哨人 Daniel Kokotajlo
• 图灵奖得主 Yoshua Bengio
• Humans First
• Open Markets Institute
• Ezra Klein
• Arvind Narayanan（普林斯顿计算机科学家，以主张「AI 是一种普通技术」著称）

具体机制可以讨论。禁令也不必是永久的（两点都见下文）。这远不是我们在 AI 问题上唯一要做的事！但它很紧迫。

国会必须禁止 RSI。