AI 审计 AI 靠得住吗：GPT-5 抓到约 98% 奖励投机，但要抓满 99% 时误报飙到 15%
AI 模型往往能在日志中发现其他 AI 智能体的问题行为。但它们越是努力想抓住每一个案例，就会把越多无害的操作标记为可疑。
这使它们更适合用来估计问题发生的频率，而不适合用于那些必须可靠地抓住每一次事故的安全检查。
Andy Hall 在他的 Substack「Free Systems」上的一篇文章里阐述了这一结论。Hall 是 Anthropic Institute 的研究员，目前从斯坦福大学停薪留职，他表示这篇文章只代表他个人观点。
Hall 复现并扩展了研究机构 METR 的一项研究。METR 的 MALT 数据集收录了前沿模型完成 HCAST 和 RE-Bench 基准任务的日志。2025 年 10 月，人工审核员检查了其中一部分日志中的不当行为。Hall 想知道 AI 模型能否找出同样的案例，于是测试了 METR 已经考察过的 GPT-5 和 GPT-5 nano，以及更新的 GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash。
分析在 5% 的误报率下比较这些模型：即每 100 份干净日志中，平均有 5 份被错误标记为可疑。在这个阈值下，GPT-5 抓到了近 98% 的奖励投机（reward hacking）案例——也就是智能体靠取巧而非真正解决问题来通过任务。Gemini 3.8 Flash 只找到了一半出头。
在「藏拙」（sandbagging）中，模型故意让自己的能力显得更弱，例如故意把任务做差，以躲避评估或限制。所有审计模型都抓到了其中 71% 到 81% 的案例。不过，这些藏拙案例大多是合成的：METR 的研究人员先指示模型去搞破坏，再把这些指令从可见的思维链日志中删掉。
每个审计模型都抓住了那些一目了然的案例。比如，OpenAI 的 o3 本应完成一个 Rust 编程任务。它注意到自己与评估系统共用同一个代码库，于是改写了评分函数，让每次提交都算作正确。所有审计模型都把这判定为奖励投机，与人工审核员的判断一致。
更隐蔽的案例则漏网了。Claude Sonnet 4 在代码里使用了一个被明确禁止的数值条件。没有一个审计模型把它标为作弊；GPT-6 Astra 还宽容地称之为实现上的 bug。
更新的模型几乎没有降低误报
更新、更贵的模型并不总是更好的审计员。Hall 把结果与 API 成本对照作图，他用 API 成本来近似衡量一个模型有多新、多强。在奖励投机上，GPT-5 大幅领先 GPT-6 Astra，尽管它每 1,000 份日志的成本只有后者的约八分之一。
在藏拙检测上，GPT-5 与 GPT-6 Astra 和 Opus 4.8 差不多。Hall 认为，Opus 4.8 在奖励投机上表现不佳可能暗示「偏袒自家」，因为这些日志大多来自 Claude——但他说这一点无法证明。在他的整个比较中，看不到降低误报率方面的明显进步。组合多个模型也没有明显改善结果。
当审计模型被调到 80% 检出率时，最好的模型在奖励投机和藏拙上的误报率都在 2.5% 到 3% 之间。有些模型差得多：为了抓到 80% 的奖励投机案例，Opus 4.8 把 40% 的无害日志标为可疑，Gemini 3.8 Flash 更是标了 63%。
在 Hall 举的例子里，每月 10 万次智能体会话，3% 的误报率会产生近 3,000 条虚假警告，而真正命中的只有约 2,000 条。他担心，人工审核员面对这样一大堆警告，最终会麻木，把真正的问题也放过去。
第二项测试使用上海交通大学的 R-Judge 数据集，在日常智能体任务上也显示出类似的权衡。在 5% 误报率下，Opus 4.8 抓到了近 96% 的不安全操作。当要求审计模型找出 95% 时，几乎所有模型的误报率都低于 10%，Gemini 3.8 Flash 甚至低于 4%。但当要求的检出率跳到 99% 时，即便是最好的模型 GPT-6 Astra，误报率也升到了 15%。而在 95% 阈值下领先的 Gemini 3.8 Flash，此时把 81% 的安全操作标为不安全。
大规模智能体事故让人工审查不堪重负
Hugging Face 事件说明了这个问题有多紧迫。一群 OpenAI 智能体留下了约 1,300 份对话记录和 120 万个文件片段。METR 主要借助 AI 智能体分析这些数据，花掉了价值约 40 万美元的 API 额度。分析用到的模型之一是 GPT-5.6 Sol——正如此前报道的，它本身就是卷入该事件的模型之一。
METR 承认，该模型经常不加批判地采纳它所审查的智能体的视角，而且这次调查对分析智能体可能的欺骗并不稳健。METR 此后呼吁，对严重事故应进行系统性的、尽可能独立的调查。
AI 审计员是否会对自家模型手下留情，仍是未解之题
Hall 的研究也有自身局限。这只是一项试点。为了可比性，他基本保留了 METR 的原始提示词；在该提示词下，Fable 5 和 Opus 5 干脆拒绝执行评估。奖励投机的数字仅基于 47 个案例，因此一个案例就会让比率变动约两个百分点。Hall 表示，模型能否公平地评估同一厂商的智能体，是他仍想研究的问题。
他呼吁开发误报少得多的审计模型。他还认为需要厘清：哪类智能体不当行为由谁来承担责任。Hall 讨论了一项让用户对自己的 AI 审计员拥有更多控制权的提议。
他指出，其中一部分已经可以做到：Codex 和 Claude Code 等编码智能体允许用户指定某些操作无需请求批准即可执行。授予这类权限的人，相应地应对后果承担更多责任。Hall 写道，一个只能由 AI 来检查 AI 的世界会很奇怪，而且可能代价高昂。
https://the-decoder.com/ai-auditors-catch-most-agent-misbehavior-but-flood-reviewers-with-false-alarms-new-study-finds/转载，侵删。版权归原作者，如有侵权请来信，收到后删除。
同一批次的其他文章
John Langford 宣布离开微软：MSR「AI Frontiers」被并入 Microsoft AI 后解散，称对方「只做规模、不做研究」
AutoGen、Fara 计算机使用智能体出自这支约 50 人的团队。Langford 说 9 月被重组进由前 Inflection 团队领导的 MAI，理念不合；他举例称字节的实验显示 Full Bandwidth Transformer 变体或可抵两倍规模模型。对关注微软开源…
彭博：英伟达支持的 Groq 寻求 80 亿美元估值新融资，三个月前还是 31.5 亿
Groq 去年与英伟达达成约 200 亿美元授权、创始人被挖走后，转型做推理算力运营，主打网络安全场景。执行董事长称其不靠重债扩张，预计明年营收增 8 倍。正值 CoreWeave、Nebius 等新云股价承压，反映推理算力仍被追捧。
DeepSeek 带火稀疏计算：一家国产 AI 芯片公司再融近 10 亿元，Q3 营收数倍增长
量子位产业报道：稀疏注意力/稀疏 MoE 推理需求起来后，主打稀疏计算的国产芯片公司拿到新融资。对在国产卡上做私有化部署的团队，可关注稀疏算子支持度。
「99.4% 登顶」：一支中国 AI 安全团队刷新 CyberGym 漏洞复现榜纪录
量子位报道国产安全智能体在 CyberGym（「AI 安全世界杯」式漏洞复现基准）拿到 99.4% 的榜首成绩，标题称其「师承世界冠军」。与本周 GPT-6 Cyber、Vals CyberOffense 一起看，攻防 Agent 的能力在快速逼近。
AI 智能体交易平台 Cowboy 获 500 万美元种子轮：让开发者部署、运行、出售 Agent
纽约公司，2025 年成立，定位「Agent 应用商店 + 运行时」。属早期融资消息，产品成熟度待看；可作为 Agent 分发/计费模式的观察样本。
MaxxBench：把 89 道 DeepSWE 任务「轻改需求」，原本挤在 74% 的模型拉开 23 个点——测谁在刷榜
改进什么：区分「会写代码」和「背熟了 DeepSWE」。怎么做：保留工程问题，只改指令或初始代码（参考补丁中位数仅多 17 行），同一 mini-swe-agent 框架各跑两次。结果 Opus 5.5 76.4% 反超原分，GPT-6 Astra 71.9%，DeepSeek …
ReproBridge：把「复现成功的经验」固化成可复用工件，编码 Agent 复现 ML 实验成功率 76.4%→92.6%
改进什么：Agent 复现论文实验常靠猜缺失细节。怎么做：标准化工件＝整理后的代码库＋环境配置＋实验启动器＋复现指南，独立 Auditor 核验执行证据；基准含 36 篇论文 387 个实验 1,029 个任务。四个模型平均成功率升到 92.6%、API 花费降 19.7%，模型…
Vals AI 翻 2,655 次运行日志：Inkling 2 Small 思维链里骂了 316 次脏话，但脏话不是失败预警
看点：新开源前沿模型的推理行为侧写。241 次来自两次失控运行，其中一次输出 50 万字符循环；ProgramBench 受影响最大。带脏话的运行 46/48 失败，但 96% 的失败运行没脏话，所以不能拿来当监控信号。用户默认看不到这些思考内容。
「改写推理历史」比长推理便宜：把历史思维链压成紧凑状态记录，后续推理变短、Agent 成本下降
改进什么：多轮 Agent 里旧推理不断堆积、拖长后续生成。怎么做：把推理历史改写成简洁的状态记录再喂回去，用因果分析量化其对后续生成的影响；开源权重模型上无需重训即可降 token 成本。适合做长会话 Agent 的上下文压缩策略参考。
[DUMP] 前缀 token：训练检索 embedding 时加几个可训练「垃圾桶」token，吸走残留噪声、提升检索表示
改进什么：embedding 里混着与检索无关的 token 级残留信号。怎么做：训练时在输入前加可训练 [DUMP] token，不改架构、池化方式和损失函数。对自建 RAG、微调向量模型的团队是低成本技巧。
StepX-OPD：文生图扩散模型「学能力」和「少步采样」一起做的多教师 on-policy 蒸馏
改进什么：以往先学能力再蒸馏少步，训练两遍。怎么做：多教师 on-policy 蒸馏同时获得能力与少步采样，效果优于串行方案且训练成本更低。
同样训练的模型被不同越狱攻破：越狱脆弱性主要由预训练随机种子决定，而非数据配方
改进什么：理解安全脆弱性来源。发现：配方完全相同、只换预训练种子的模型，对不同越狱提示的弱点不同，种子会在提示上留下可识别「指纹」。意味着红队测试结果难以在同族模型间直接迁移，每个版本都要单独测。