腾讯首席 AI 科学家姚顺雨:AI 生物武器风险快来了,但把模型全关起来不是办法;腾讯 Hy4 将以开放权重发布
腾讯首席 AI 科学家警告,AI 很快就将具备开发生物武器的能力,而完全开放或完全封闭的模型都无法单独解决这个问题。
据《南华早报》报道,在开放与封闭 AI 模型的争论中,曾任职于 OpenAI 的姚顺雨(Vinces Yao Shunyu)主张走中间路线。开源与闭源相结合,能让所有人也把这项技术用于防御。不过在生物领域,攻击能力和防御能力比在网络安全领域更难区分。由于中美模型之间的差距并不大,姚顺雨呼吁整个行业谨慎行事。
姚顺雨表示,Anthropic 等美国公司为封闭模型给出了有力的论据,但他也看到了开放模型的明显优势。他以 Hugging Face 的一次黑客事件为例:当 Anthropic 的 Claude 等封闭的美国模型因安全过滤而拒绝分析攻击命令时,该平台转而使用开放的中国模型 GLM-5.2 来解析日志。
Hugging Face 的案例说明了什么、没说明什么
Hugging Face 的报告支持了姚顺雨的例子,但也显示了它的局限。GLM-5.2 只在取证分析阶段被使用。真正阻止攻击的是安全团队修补了被利用的漏洞、重建受影响的服务器并轮换了凭据。Hugging Face 还强调,这次事件并不能作为反对托管模型安全过滤的论据。
今年 7 月,Anthropic 是唯一一家没有签署那封由英伟达支持、警告不要过早限制开放模型的公开信的大型 AI 实验室。CEO Dario Amodei 特别反驳了「开放模型对防御方的好处大于攻击方」的说法。他认为开放模型可能风险更高,因为安全机制难以强制执行,而且已发布的模型权重无法收回。不过,Anthropic 并没有呼吁全面禁止开放模型。
开放模型的过滤很容易被去掉,封闭模型又常常过滤过度
一种名为 Abliteration 的技术表明,开放模型上的安全过滤有多脆弱。任何能拿到模型权重的人都可以用它精确地移除训练出来的拒答行为。Hugging Face 上有数千个这样的修改版本,美国初创公司 Abliteration.ai 还在出售无过滤版 GLM-5.3 的访问权限。目前的研究表明,现有的应对措施能让这类修改更难,但无法阻止。更稳妥的办法是一开始就在训练中把危险知识排除在模型之外。
中国也意识到了这个问题。标准机构 TC260 警告,开放模型中的安全机制可能被移除或绕过,并正在制定自己的开源 AI 安全标准。一份出口管制框架草案涵盖了特别大的模型,但豁免了已经发布的开放模型。中美两国都还没有设定一个具有约束力的门槛,规定超过多少能力的开放模型不得发布。
Anthropic 和 OpenAI 只通过 Project Glasswing 和 Daybreak 等项目,把它们最强的网络安全模型分享给经过审核的合作伙伴。自 Claude Fable 5 起,Claude 的过滤器会把可疑的网络安全和生物学相关查询转给较弱的 Opus 4.8 模型。据 Artificial Analysis 统计,这在初期影响了 8% 到 9% 的任务,有用户反映连分析 MRI 扫描都会被标记为生物恐怖主义。Anthropic 承认这些过滤器过于激进。
腾讯计划在未来几天以开放权重的形式发布新模型 Hy4,并附带一份安全报告。公司表示,Hy4 的生物学能力低于高风险门槛。腾讯通过过滤训练数据移除了该模型的黑客能力,研究人员称这种方法同样能扛住 abliteration。
https://the-decoder.com/tencents-ai-chief-says-ai-bioweapons-are-coming-but-closing-off-models-isnt-the-answer/转载,侵删。版权归原作者,如有侵权请来信,收到后删除。
同一批次的其他文章
谷歌一口气补齐第八代 TPU:TPU 8tx 做硬件级机密推理,TPU 8i Max 双芯封装把算力、SRAM 和 HBM 带宽都翻倍
Google 宣布第八代 TPU 再加两套系统,这是第一次一年发四套。TPU 8tx 和 8t 用同一颗芯片,配 AMD EPYC 主机,数据和模型权重在计算时也保持加密隔离,延迟比 8t 最多低 2 倍,面向受监管企业和政府做私有微调、蒸馏和智能体强化学习。TPU 8i Max…
Anthropic 最早周二启动 IPO 路演,上周 AI 股暴跌后估值讨论已降到约 1.1–1.3 万亿美元
Bloomberg Law 11 月 9 日报道:Anthropic 的等待期到期,最早周二就能正式向投资者推介 IPO;上周 AI 相关股票大跌,一度把波动率指数推到 25 以上,这个区间通常会让公司推迟上市。Bloomberg 11 月 6 日报道称,潜在买家在讨论 1.2–…
特朗普在《60 分钟》谈 AI 安全:风险「没有他们说的那么真」,还称司法部警告过一位大 AI 公司负责人「准备坐牢」
特朗普没有点名是哪家公司,只说是「大公司之一」,并称对方之后「彻底改变了一切」。他表示愿意和民主党合作搞 AI 安全护栏,但不想让美国落到「第二」。在民主党刚赢得国会、AI 监管预期升温的背景下,这段表态值得留意。
迪士尼和 Adobe 签多年合作:用 Firefly Foundry 训练专属迪士尼角色和画风的生成模型
Adobe 在 MAX 大会宣布,双方会在 Firefly Foundry 上做「以艺术家为主导」的定制模型,用迪士尼自己的角色、场景和视觉风格训练,输出可商用;迪士尼的主题乐园、邮轮和 ESPN 都会提前用上 Adobe 新技术。The Verge 指出,此前彭博报道迪士尼正准…
CoreWeave 和 Wayve 签多年协议:Wayve 的自动驾驶基础模型在 CoreWeave 云上训练,新模型不比现役强就不上路
CoreWeave 官方宣布,Wayve 会在它的平台上追踪、评测和对比每一个 AI Driver 模型,只有超过当前上路版本的才会部署。这说明「物理 AI」正在成为 GPU 云的新需求来源,不只是大语言模型。
美团 LongCat-2.5 正式开放权重,MIT 协议可商用:1.6 万亿参数、每 token 激活约 480 亿、百万上下文
这是 11 月 2 日发布的模型这次真正放出权重,Hugging Face 上同时有 W4A4 版本。改进点:视觉信号被编码成多层级离散 token,和文本走同一个主干,而不是外挂视觉模块,所以视觉编程和 3D 类任务更强;推理时专家权重和激活都量化到 4 bit,直接用 INT…
Amazon 提出 HOPE 专家剪枝:考虑专家之间的「搭档关系」,砍掉一半专家时智能体编程任务比次优方法最多高 6.1%
问题:MoE 模型推理时所有专家都要占显存,比如 Qwen3.5-122B 约 95% 的参数内存都在专家 MLP 上,但每个 token 只用 8 个。现有剪枝给每个专家单独打分,忽略了专家会成组协作。HOPE 用二阶方法考虑专家两两之间的交互,在 50% 剪枝率下平均排名最好…
LowRAM:同一注意力头里的 V 大多能从 K 预测出来,据此把 KV 缓存压到 4 倍近无损,叠加量化后可压 26.9 倍
改进了什么:长上下文时 KV 缓存的显存随长度线性增长,限制了批量和吞吐。靠什么:作者发现每个头的 value 大体可以由 key 预测,于是测试时拟合一个轻量预测器,只给重建最差的 token 存残差;再配上跨层低秩 key 压缩。效果:4 倍压缩下解码峰值吞吐最高提升 5 倍…
英伟达 AutoCompress:按目标显卡和推理引擎的真实延迟、吞吐、显存来剪枝,把 Nemotron 3.5 Super 从 120B 压到 74B 单卡 B200 跑 128K
改进了什么:以前剪枝按参数量挑大小,但参数量预测不了实际延迟和显存。靠什么:把推理引擎的成本模型放进可微架构搜索,同时优化全局和逐层结构,得到每层不一样的异构架构。效果:比 Minitron 在 RTX 5070、5080 和 H100 上平均准确率分别高 6.57、2.35 和…
FinDendro:大模型「不知道自己知道什么」,用它做金融回测没法靠自报或知识截止日期保证没有信息泄露
新基准包含 1999–2026 年 2,226 条带日期的美国宏观、股价和美联储决议事实。结果:多数前沿模型低估自己的知识,GPT-5 答对 76%,却只声称知道 38%,在它说「不知道」的事实里也答对 61%;让模型「假装站在过去某天」几乎不改变准确率。结论是,在训练窗口内的回…
Nace AI 的 Drex Max v1.1 决策模型登上 Artificial Analysis 决策榜第一,延迟 183 毫秒,即将开放权重
Drex Max 不生成文本,而是给定一组选项和上下文直接做选择,支持 256K 上下文。kimmonismus 转述论文:延迟约 183 毫秒,对比 Claude Opus 5.5 约 3.5 秒、GPT-6 Sol 约 2 秒。对路由、分类、审批这类企业决策环节,这种「只做选…
WordPress 母公司 Automattic 推出 Spacefast:给 vibe coding 应用配齐数据库、登录、邮件和分析,可接任意智能体
Spacefast 和 Lovable、Emergent 竞争,但不绑定自己的界面,可以接 ChatGPT、Claude、Cursor、OpenClaw 等十几种智能体,或者直接连 Git 仓库。负责人说企业现在的痛点是 IT 蔓延,市场部在各种平台上批量做落地页,需要收拢到一家…