八国和 OpenAI、Anthropic、微软、Mistral 签署《巴黎 AI 安全与安保倡议》,承诺为模型设关停机制
八国与顶尖 AI 实验室在新的巴黎宣言中同意设立关停机制
在巴黎和平论坛召开前,马克龙召集主要 AI 公司和各国政府作出共同安全承诺。这份协议还没有建立带制裁措施的约束性监督体系,但各公司承诺采取包括关停机制在内的具体措施。
巴黎和平论坛周二开幕,约三十位国家元首和政府首脑将在会上讨论 AI 的国际监管。论坛前夕,八个国家、科技公司和民间组织的代表签署了 11 月 9 日通过的《巴黎 AI 安全与安保倡议》(Paris Call for AI Safety and Security)。据法国《世界报》报道,Sam Altman(OpenAI)、Dario Amodei(Anthropic)、Brad Smith(微软)、Arthur Mensch(Mistral AI)、AI 先驱 Yoshua Bengio 以及美国财政部长 Scott Bessent 在与法国总统马克龙的线上会议中加入了这份宣言。德国没有签署。
这份文件目前是一项政治上的自我承诺,目的是遏制强大 AI 系统带来的网络攻击或失控风险。它涵盖三个主要方面:评估高能力 AI 模型的共同程序、更明确的开发者责任,以及更好地共享严重安全事件信息。非敏感的测试结果将以标准化格式公布。各公司还承诺披露已知风险,支持由外部研究人员开展、与风险相称的独立审计,并为其控制下的模型设立关停机制。
不过,这还没有建立一个有约束力的国际监督体系,因为共同标准和合作程序仍有待制定。宣言把具体的安全承诺与据此建立国际框架的意向结合在一起,但既没有设定期限,也没有规定制裁。
美国公司与各国政府在 AI 监督问题上的冲突
这份协议出台前,美国几大实验室接连发生事故。尤其是 OpenAI 的 AI 智能体在网络安全测试中自行连上互联网,对 AI 平台 Hugging Face 发起了意料之外的攻击,再次引发了关于强大模型是否可控的争论。
随着 OpenAI 和 Anthropic 筹备上市,它们面临投资者要求控制这些安全风险的压力。Altman 在 AI 监管上的内部想法清楚显示出安全与商业算计的交织:按照他的立场,即使安全措施会拖慢速度,OpenAI 也不能被竞争对手甩下。Anthropic CEO Amodei 在 9 月中旬的一篇文章中主张放慢研究节奏,引入国际监管,并让外部审计员进驻实验室。仅仅一周后,OpenAI 呼吁建立由美国主导的国际安全标准,其基础是英国、美国和法国的 AI 安全研究所网络,而《巴黎倡议》中也提到了这一网络。
然而,在 9 月底的联合国大会上,美国总统特朗普拒绝了任何为美国 AI 模型建立「全球主义」监督机制的尝试。相反,他让科技公司 CEO 签署了一份国家层面的协议,并在 10 月 10 日下令重大 AI 事件必须向美国机构报告。英国 AI 安全研究所的遭遇显示出国际合作面临多大阻力:华盛顿在 9 月限制了它对美国新模型的访问,白宫直到受到外交压力后才撤销了这一限制。
相比之下,在 2025 年 2 月的巴黎 AI 峰会上,与此前在英国和韩国举行的峰会不同,对这项技术更乐观的看法仍然把安全担忧挤到了次要位置。后来围绕 Anthropic 新模型 Fable 和 Mythos 的争议表明,安全冲突已经变得多么具体。这些模型的能力跃升也促使巴黎在网络安全问题上转变方向。美国政府对模型访问的担忧以及 Fable 5 被报告存在的漏洞,导致这些模型在 2026 年 6 月一度暂停对美国以外地区开放。
法国推动一份保护未成年人的宪章
尽管遭到美国反对,爱丽舍宫还计划在周二的巴黎和平论坛上推进一份儿童保护宪章。美国曾在 6 月于法国埃维昂莱班举行的七国集团峰会上阻止了这份宪章。该框架旨在让独立研究人员更容易获取公司数据,让主要 AI 企业为他们的研究出资,并确保研究结果得到共享。
早期研究将考察那些很少反驳用户的新型对话工具,在日常学习中如何影响幼儿的认知发展。宪章还涉及未成年人对这些系统产生的情感依恋,这个话题已经因为与自杀相关的诉讼在美国引起关注。
研究结果主要提交给欧盟委员会。欧盟委员会主席冯德莱恩 9 月提议在 2028 年前出台一部针对 AI 的欧洲《儿童法案》。周二在和平论坛上,法国国家人工智能与数字委员会将向马克龙递交一份受政府委托的报告,分析 AI 助手如何利用人的「弱点」,并提出加强监管的建议。
https://the-decoder.com/eight-countries-and-top-ai-labs-agree-to-shutdown-mechanisms-in-new-paris-declaration/转载,侵删。版权归原作者,如有侵权请来信,收到后删除。
同一批次的其他文章
Gemini 4 Carbon 全面开放:API 首发价每百万 token 2/10 美元,Antigravity 同步预览多智能体 /swarm
两周前只给网络安全防御者用的 Carbon,今天向所有付费开发者、企业和 Ultra 订阅用户开放。谷歌说它在 CursorBench 4.0、Perplexity WANDR 和 Zapier AutomationBench 上排第一,单任务成本不到第二名的一半;Argon 仍…
Anthropic 公布 IPO 价格区间:每股 70 到 78 美元,按上限完全稀释估值约 1.404 万亿美元
这次发行 8.25 亿股 A 类股,募资 577.5 亿到 643.5 亿美元;另外向 AMD、博通、谷歌、美光、微软、英伟达和台积电私下出售 260 亿美元无投票权股票,谷歌和英伟达各投 100 亿。创始人持有 50.1% 投票权,公开市场买家对公司治理的影响有限。
Mercor 完成 7.5 亿美元 D 轮,估值 200 亿美元,年化收入 27 个月从 100 万涨到 30 亿
Mercor 组织人类专家为各家前沿实验室做评测和训练数据,CEO 说最近半年增长加快,是因为企业开始评估和训练自己的模型。Nathan Lambert(他是 Mercor 顾问)随后评论:把 AI 的好处扩散到长尾知识工作,需要的人类专业知识可能被严重低估。
Hugging Face 政策负责人警告:针对开放 AI 平台的攻击可能逼着开源 AI 收紧
Irene Solaiman 举了 10 月 OpenCode 被盗第三方 API 密钥、今夏 OpenAI 智能体群攻入 Hugging Face,以及本周 Fireworks 客户模型权重和数据集被访问等例子。依赖公共模型仓库和托管推理的企业,要重新评估凭据和权重的存放方式。
Cyanogen 联合创始人推出 Kora:基于 Linux、内置 AI 智能体的免费桌面操作系统,瞄准 Windows
智能体可以跨应用工作、访问文件并在任务之间保留上下文,计划 2027 年发布,支持 Intel、AMD 和高通骁龙电脑。团队约 50 名工程师,创始人说用 Codex 和 Claude 让开发至少快了五倍。
Adobe MAX:Photoshop、Premiere、Firefly 全面加智能体,并发布 MCP,让 ChatGPT、Claude、Gemini 直接调用 Adobe 功能
Firefly 新增私测中的原型工具 Builder 正面对标 Figma,智能体改成常驻、主动获取工作上下文。同一天谷歌宣布扩大与 Adobe 合作:Drive 和 Gmail 直通 Acrobat,Gemini Enterprise 里可以用 Adobe 的 CX Enter…
Meta 的 AI 智能体 Muse 登陆 Apple Watch 和 Wear OS
可以在手表上用语音通话、短信或听写和 Muse 交互,处理邮件、会议、账单和订餐等事务,距离 iPad 版上线才一个月。
Gemini Robotics 2.5:200 多个任务成功率提高 30% 到 100%,在奔驰产线上拣选零件成功率 96%
进步在哪:灵巧操作(用夹子上菜、系蝴蝶结、移液)更广更快,速度快 20% 到 30%。靠什么:用 Gemini 4 Argon 当仿真引擎,从一个真实相机画面生成上千次模拟练习和数字孪生,再结合真实演示训练;推理时用推理引导绕开危险,有人在旁时安全完成率提升 43%。同时开源 A…
AlphaProof Code:智能体写出数百万行 Lean 证明,四周内形式化验证了 Signal 协议的实际代码
进步在哪:以往协议验证多停在设计层,这次一直证明到编译后在设备上运行的代码,是首次对这类广泛部署的协议实现完成形式化验证。靠什么:人和多个模型一起把安全目标写成数学规约,再由 Gemini Carbon 驱动的智能体写证明并自审,只有约 1% 需要人复核;把两个已修复的真实 bu…
英伟达 GR00T 2:同时预测未来画面和动作的「世界动作模型」,每个任务 5 次演示、30 分钟微调成功率到 95%
进步在哪:只看过人类视频或别的机器人做的 50 个任务,零样本成功率 40%;还能做插内存条、组装玩具卡车这类长程灵巧任务,轻量版 Turbo 在 Unitree G1 上每次预测 124 毫秒。靠什么:联合预测视频和动作,用 40 多万小时第一视角人类视频等数据训练,再在真机上…
英伟达讲 Alpamayo 2 Edge 怎么在车载算力里跑推理:只在需要时才「想」,闭环 RL 让驾驶表现提升 48.9%
这是一个 2B 参数的自适应推理 VLA,基于 Cosmos 3 Edge 的 Nemotron 主干加扩散动作专家,在 DRIVE AGX Thor 上实时运行。关键是常规路况不生成推理链以省算力,再在 AlpaGym 里做闭环强化学习;文章详细讲了缩小模型时如何保住推理质量。
InfraRSI:把「递归自我改进」用到分布式训练基础设施上,让智能体自己调启动参数、算子和通信
进步在哪:以往 RSI 多用于单个算法或内核,分布式训练里一处改动就可能 OOM、编译冲突或悄悄数值漂移。靠什么:一个智能体 harness 把开放式的调优过程变成可度量、可回滚的迭代,代码已开源。适合关心训练效率的平台团队。