Higgs Realtime Duplex：面对面交流，同时在后台干活

Boson AI 团队
2026 年 11 月 5 日

今天我们发布 Higgs Realtime Duplex。它是 Higgs Realtime 的下一代，也是 Boson 第一款全双工交互式全模态模型。它像人一样同时听、看、说，并且有一张自己的脸。与此同时，它还会思考、调用工具，并在后台处理事情。它自己决定何时开口，也能分辨出哪句话并不是对它说的。

• 全双工：按 160 毫秒切片，同时听、看、说，并渲染自己的脸。
• 后台工作：思考、调用工具、把任务交给更大的模型，都不会打断对话。
• 前端是 45B 的混合专家（MoE）模型，大约用 2 万亿个文本、音频和视频 token 训练。

一个好的交互模型需要同时做好三件事

我们认为，人们每天都会开口对话的模型，必须同时做到下面三点。

感觉像人。 人类对话里，对方说完后大约 200 毫秒内就会接到回应。时机对的时候，人们甚至会在对方说完之前就接话。人们也会自己判断该不该开口：会说「嗯嗯」，会插话，会在对方卡住时帮忙，也会在那句话不是对自己说的时候保持安静。

够聪明。 和智能体的大多数对话，目的都是把事情办成。这既需要读懂对方和现场的情商，也需要真正的推理能力，把含糊的请求拆成任务并做完。

足够便宜。 我们相信，说话会成为人们每天连续数小时使用智能体的主要方式。为了让这成为可能，我们的设计目标是：和模型聊一小时的成本，最多只相当于一个人一小时工时的十分之一。

能力

模型能看见你，并在说话时露出自己的脸。全双工让它决定何时说、何时听，以及如何在对话继续的同时保持思考和工作。

看见你，也露出自己的脸

全程看着你的摄像头或共享屏幕，并用一张与声音同步、实时渲染的脸来回应。

何时开口，何时停下

会说「嗯嗯」，会在你说完之前接话，你插话时它会停下来；同时忽略背景噪音和说给别人听的话。

思考与干活

你还在说话时它就开始推理，并异步运行工具和委派出去的任务，在结果回来之前把对话继续下去。

原文配有一段团队会议视频：它讲解架构、在句子说到一半时接问题、读白板，并随着讨论更新示意图。还有更多场景片段。

英语口语辅导。 给看图说话计时，抓住把 “vest” 说成 “west” 的错误，练习时看着你的口型，并像真正的教练一样把握节奏。

得来速窗口。 有人让它查行情和一次训练进度，司机跟收银员点餐时它保持安静，点完再回报结果。到取餐窗口时，它确认司机从未点过 animal-style fries：每个字它都听见了，也知道哪些才是对它说的。

免提工程。 工程师全程在看书。它只靠语音对比两个引擎版本，让 Claude Code 在后台补做一个缺失的质量工具，同时跑合规检查并应用修复，按指示给设计师发邮件，并在工具就绪后汇报新的质量数字。

我们的做法

一个模型，多条线程

Higgs Realtime Duplex 同时跑很多条线程。你的声音和画面流进来，模型的声音和脸流出去。与此同时它可以思考、调用工具，或把问题交给更大的模型，这些都不会让它停止听和看。

你和前端模型——也就是直接跟你说话的那部分——持续、实时地交换音视频。前端模型自己思考，并直接向后端模型和工具发出异步调用；结果回来时，它仍在继续说和听。

切开的是时间，不是一轮一轮的对话

我们把每一路流都切成 160 毫秒的块：你的声音和摄像头、工具结果和后端回复是输入；模型的声音、脸和后台工作是输出。每一步，模型读刚刚到达的块，再写出下一块要播放的内容。静音区间同样用块来表示。打开视频后，即使没人说话，画面帧也会持续进来，所以模型从不停止听和看。

在一段示例对话里，每个格子代表 160 毫秒。你说话时，模型会「嗯嗯」、思考并调用工具。你说完时工具结果到达，模型作答，然后暂停思考。你插话时它停下、重新规划并委派，然后在后端返回之前继续说话。每一步都会渲染脸。

思考和工具调用的生成可以跨越多个块；把这些块拼起来，就能还原完整输出流。每个到达的工具结果作为载荷进入对应的输入块，没有按块固定的文本 token 配额。有些工具会分阶段返回中间结果。模型不必等完整结果才开口。

把八步放大来看：每一步模型读一个输入块，生成下一个输出块。思考和工具调用会跨好几个块。工具结果分三段进入输入块，模型一边继续思考，一边开始回答。

提高智力：思考、调用工具、委派

我们希望前端模型自己尽可能聪明，只在必要时才求助。它有三种方式提高回答质量：

思考。 思考通常要几秒钟，没人愿意每次回答都干等。每当一句有意义的话或一个想法到来，模型就可以在已有的推理线程上继续，而不必等完整问题。这段推理跨块持续进行，并且和听、说并行，所以它说话时也能继续想。

调用工具。 搜索、知识库、预订、CRM 查询，或部署方定义的任何函数。调用会尽早、异步发出，模型从部分结果就开始回答。工具工作时，前端模型继续听、想、说。

当任务超出前端模型的能力时，它会把任务连同完整的共享上下文交给大得多的后端模型。后端工作时，前端模型把对话继续下去，包括聊别的话题，并在结果就绪时带回来。后端若是前沿模型，效果最好。

这正是我们和 Thinking Machines 交互模型的不同之处：它们的前端模型把思考和工具调用留给后台模型，而我们的前端模型自己思考、自己调工具。把所有推理和工具使用都交给更大模型的系统更好训练，但大型推理模型可能要十秒以上才回应，每一轮都调用它，成本就很难控。所以前端模型自己处理大多数请求，只把真正需要的回合交给后端。

降低成本：收紧 token 预算

全双工下，即使没人说话，模型也要处理每一个块，上下文很快就会被填满。我们压缩每一路流：每个输入块 1 个音频 token，每个输出块 2 个；摄像头画面每六个块才送一帧；脸用两个潜变量表示。

音频输入约每秒 6.25 个 token，音频输出约每秒 12.5 个。一帧摄像头画面大约十几个 token，每六个块来一次。

音视频流大约每分钟使用 2.6K token。如果再加上可选的思考、工具调用及其结果，总量大约是每分钟 2.6K–5K token，具体取决于负载。这个估算已经假定对中间推理和工具轨迹做了逐步压缩，并把后续工作所需的信息带下去。生产环境里，模型通常会保留最近五分钟的音视频流，再加上这段压缩后的文本——这个近期窗口大约是 13K–25K token，取决于活跃程度和压缩情况。更早的历史则以文本形式另外保留。

零样本的声音和脸

我们提供默认的声音和脸，但它们并没有写进模型权重。部署时以零样本方式加载：一小段参考音频设定声音，一张参考图片设定脸，无需微调。参考材料进入渲染输出的两个解码器，而不是进入模型本身。

一路流、两个渲染器。每个输出块携带两个音频帧和两个图像潜变量。一个因果流匹配解码器根据参考音频把音频帧变成语音；一个因果 DiT 根据参考图片和前两个潜变量把潜变量变成视频。换掉参考材料，声音和脸就会零样本地跟着变。

音频解码器。 因果流匹配模型。参考片段被编码成解码器的条件向量，生成的语音与该声音一致。

视频解码器。 视频需要更多细节，所以使用因果 DiT（一种扩散解码器）。每一步都根据参考图片和最近两个潜变量生成，好让整场对话里的脸在视觉上保持连续一致。

模型与训练

45B 混合专家模型。 前端是 45B 的混合专家（MoE）模型，既不算小也不算巨大。我们试过更大的模型，分数确实更高，但运行更贵。既然最难的问题反正可以交给更大的后端模型，一个智力扎实的中等前端模型能取得最好的平衡。

约 2 万亿 token 的训练。 我们从已经用文本预训练过的模型出发，继续用大约 2 万亿个文本、音频和视觉数据 token 训练。文本训练有助于保住模型从语言里学到的通用智力。音视频训练则让它直接处理这两种模态，并把听见的、看见的和说出的连起来。训练在我们自己的 NVIDIA H100 集群上进行，机房由 Boson 自建，训练栈部分基于 Megatron。

多教师 on-policy 蒸馏。 后训练我们使用多教师 on-policy 蒸馏（MOPD）。从同一个基座模型出发，我们用包括 GRPO 在内的强化学习，在相关任务组上训练专家教师：自然对话、交互行为、动态委派和任务完成。通过交互，这些教师学会该说什么、何时行动——何时开口或让出话轮、开始或延长一条推理线程、调用工具或委派。然后我们把它们蒸馏进一个同时具备这些能力的学生模型。

递归自我改进循环。 我们还使用递归自我改进（RSI）循环：智能体系统与模拟环境交互，复盘失败，合成有针对性的数据，再拿去训练模型，然后重复这个循环。模拟必须再现真实交互的时机和多样性——打断、叠话、旁人交谈、背景噪音——既要真实到能教会自然行为，又要难到能暴露弱点。工程目标是模拟器、工具和裁判组成的整套 harness，而不是孤立的模型。对小团队来说，这个循环把边角案例变成训练数据，大幅减少手工做数据的工作。

评测

我们把 Higgs Realtime Duplex 与 Thinking Machines Lab 的交互模型，以及 OpenAI 和 Google 现有的 realtime / live 模型做了对比。评测覆盖口语问答、全双工交互、视频与音频联合理解、主动视频（模型看一段视频并自己选择何时开口）、智能体任务完成，以及文本指令跟随。我们没有报告声音克隆或数字人克隆的结果，因为其他模型不支持这些能力。

其他模型的分数来自已发表的报告和榜单（TML、Artificial Analysis、Scale AudioMC、OpenAI）。我们复现了其中一半以上，以确认评测流程与对方一致。

有两点比较突出。GPT 和 Gemini 模型通常要在思考设置较高时才拿到最好成绩。模型规模是另一个差异：我们的前端模型有 450 亿参数，而 TML Interaction Small 有 2760 亿——大约是我们的六倍。即便如此，双方互有胜负。我们把这看作领域仍处早期的信号：数据、架构和训练方法，比单纯放大参数更重要。

试用

Higgs Realtime Duplex 的目标是感觉像人、真正聪明，而且便宜。它按 160 毫秒的块处理输入和输出，你还在说话时它就开始思考，在后台干活而不留下冷场，并能把长会话的成本压住。Higgs Realtime Duplex 的 API 即将推出；加入 API 等待名单，就可以在上线时收到通知。

与此同时，带数字人输出的端到端模型已经以 Higgs Realtime 的名义开放使用。价格见定价页。

致谢

技术贡献者：Mu Li、Dongming Shen、Silin Meng、Ahmad Salimi、Junming Chen、Ke Bai、Alexander Smola、Lindsey Allen、Murdock Aubry、Alex Chen、Yu-Hua Chen、Sepehr Harfi、Ray Huang、Daniel Lee、Jaewon Lee、Erik Li、Bang Liu、Yizhi Liu、Jonah Mackey、Ruskin Manku、Saharat Saengsawang、Nicholas Stranges、Yuzhi Tang、Sergii Tiugaiev、Jixuan Wang、Helin Xiang、Chenxu Xiong、Weisu Yin、Hao Yu、Richard Zhang、Xiling Zhao、Zhewei Zhao、Huapeng Zhou