EN
◀ 返回收集
NVIDIA

Reshard Collective:把 RL 训推权重 refit 做成 DTensor→DTensor 最小传输,NeMo RL 上最高约 5.7×

发布 2026-11-06 收集于 2026-11-07 04:00 AI 资讯 #ai#tech
全文

在强化学习(RL)后训练中,训练轨迹要靠当前策略模型在线推理生成。为提高效率,常见做法是把推理与训练拆到不同 GPU 上并行跑。策略只在训练侧更新,因此必须定期把最新权重刷新到推理侧 GPU——这一步叫 refit。

refit 有两个难点:训推对算力与并行映射(数据/上下文/张量/专家/流水线并行)要求不同,权重分片布局不一致;同时每次要搬动接近整模权重体量的数据。对如今最大的开放权重模型,逻辑载荷已到约 10TB 量级,且每个训练步都要做一次。

现有实现多用 gather-and-broadcast:训练侧先 all-gather 拼回完整参数,再广播给推理侧,各卡留下自己需要的分片。用完整张量做中介简单,但推理卡往往只需要一片却收到整块,通信冗余很大。以 BF16 计,Kimi K3、Qwen 3.8 2.4T 等权重约 4.8–5.6TB,两阶段逻辑载荷约两倍。

关键洞察是:把 refit 重构成任意布局之间的 DTensor→DTensor 传输,只搬理论最小必要数据。Reshard 成为一种新的集合通信原语:由源/目标 DTensor 描述指定,应用侧一次调用即可。NCCL M2N Reshard 是开源参考实现——先算源与目标分片交集,再按 NVLink 域分组副本,避免同一份数据在网上重复传,域内用 NVLink 补齐,并与网络传输流水线重叠。

在 NeMo RL 中,由于 Transformer 的 FFN 投影约占 95% 参数,采用混合路径:主导的 FFN 权重走 Reshard,其余小权重仍用覆盖面更广的 gather-and-broadcast。DGX H100 / GB200 上对 Qwen3-235B、DeepSeek-v3-671B、Nemotron Ultra 等测得相对传统路径约 2.7×–5.7× 加速;Qwen3.8 2.4T BF16 的 refit-only 微基准约 4.3 秒。

启用方式见 NeMo RL 配置 refit_transport: nccl_reshard。详情见 NeMo RL refit 指南与 NCCL Reshard 配置说明。

原文信息
标题
Reshard Collective:把 RL 训推权重 refit 做成 DTensor→DTensor 最小传输,NeMo RL 上最高约 5.7×
作者
—
来源
NVIDIA
发布
2026-11-06
收集于
2026-11-07 04:00 · 2026-11-07-04-ai.json
链接
https://developer.nvidia.com/blog/accelerating-reinforcement-learning-weight-refit-with-the-reshard-collective/
打开原文 ↗

转载,侵删。版权归原作者,如有侵权请来信,收到后删除。

同一批次的其他文章

04:00批次 · 2026-11-0712 篇
>

Meta 给 Muse 上线 Spaces:按主题拆出「自定义体验」侧栏,可接第三方应用在后台自动更新

Spaces 像围绕某一目标的分栏对话:度假规划、菜谱收集、礼物清单等,由 Muse 按描述搭出 tracker/planner/看板;可连接常用 App,让演唱会日期、价格变动、存钱进度在后台更新。扎克伯格发帖说已用它做 BBQ 游戏、活动追踪与家居控制台。上周刚推 Muse …

TechCrunch
>

Censys:超 800 套 Artex AI 渗透工具裸奔上网——无密码可访问,攻击工具与植入物一并暴露

Artex 是开源自治渗透测试框架,微软曾称其可从侦察到窃取少需人工。Censys 扫到 800+ 未设密实例;部分被用于韩金融业与 ConnectWise 供应链攻击。工具本身不要求对公网开放,误配放大被滥用风险。Artex 已宣布转闭源,但代码站仍有拷贝。对企业:自建/试用红…

TechCrunch
>

Meta 撤回「可疑」商业条款更新:不再强迫 Facebook 主页主人允许 AI 训练外链内容

Ars 标题直译社区吐槽「Meta 以为我们不会读吗」——公司放弃一版被指含糊、可能扩大对关联内容 AI 训练授权的商业条款改动。对品牌与企业主页运营方,是数据授权边界被公开压力扳回的信号;具体条款以 Meta 最新文本为准。

Ars Technica
>

中期选举「蓝潮」之后:AI 产业会不会迎来艰难两年?播客梳理监管与数据中心政治风险

Equity 播客讨论民主党大胜后,公众对数据中心与 AI 的反感如何转化为立法与地方审批压力,以及大厂资本开支叙事可能被改写。偏宏观产业分析,可与本周纳指抛售、数据中心公投新闻交叉阅读;非单一公司公告。

TechCrunch / Equity
>

大学图书馆被 AI 爬虫「淹没」:公共访问承压,机构开始限流与封禁

CBC 报道多所大学图书馆系统遭大规模 AI 数据抓取机器人冲击,影响正常读者访问。Hacker News 热议(约 113 分)。对企业与高校:开放知识库、文档站、API 网关都要按「Agent 流量」重新设限流、鉴权与缓存策略,而不只是防传统爬虫。

CBC / HN
>

Anthropic Science Blog:教 AI 建科学模型——不只拟合曲线,还要给出「哪些备选被否决」

图宾根 ELLIS 研究所 Jakob Macke 等客座文章:把科学建模拆成构建/约束/解释三步,强调仿真推断(SBI)与「模型分布」而非单一最优模型;AI 可写代码、拟合、修订,但理解来自知道哪些结构被数据排除。对 AI for Science 与科研 Agent 产品:输出…

Anthropic
>

Anthropic IPO 买方估值预期压到约 1.1 万亿美元一带(HN 转 Bloomberg)

Hacker News 热帖摘要 Bloomberg:部分潜在买家把估值预期压到约 1.1 万亿美元量级,低于此前约 1.5 万亿叙事。与本周科技股抛售、缺 10 月收入数字等压力同向。细节以彭博原文付费墙为准;作「市场出价下修」信号记录。

Bloomberg / HN
>

在 ECS Fargate 上搭无服务器 MCP:用元数据 JSON 给 Agent 开数据湖闸门,不必每张表写工具代码

亚马逊北美分拣中心团队实践:Bedrock + FastMCP + Athena/Redshift + Knowledge Bases;新增数据集只需丢元数据 JSON,流水线自动向量化。Cognito/WAF、SELECT-only、CloudWatch 审计。许可为 AWS …

AWS
>

SageMaker Inference 支持 MIG:一张 GPU 切成多实例,提高端点利用率

正式支持 NVIDIA Multi-Instance GPU,把单卡划成隔离实例给多模型/多租户端点。偏推理成本与密度优化;托管在 SageMaker(非自托管)。对要把多个中小模型挤进同一硬件池的企业推理平台有直接价值。

AWS
>

Bedrock AgentCore + Okta Cross App Access(其二):把「一个受管 Agent」扩成企业网关模式

接上篇:用 AgentCore Gateway 做企业级扩容,统一治理多应用访问。偏 IAM/身份与 Agent 工具权限;需 AWS + Okta 栈。成熟度:官方教程级,适合已试点 AgentCore、要上生产权限模型的安全/平台组。

AWS
>

Greenlight Financial:在 Bedrock AgentCore 上建自治 SOC,月最高约 4000 单里 90%+ 无需人工

儿童金融科技公司案例:安全与风险工单由 Agent 自动处理,宣称超九成可无人值守闭环。展示 AgentCore 在安全运营场景的成熟度信号;闭源产品集成,非可自托管开源 SOC。对金融合规团队可作对标,需自行核实指标口径。

AWS
>

Taxbit Assist:带引用、按角色权限的企业税务 Agent,嵌在仪表盘里跑在 AgentCore 上

税务合规 SaaS 把助手嵌进控制台:回答带出处、按角色可见数据。强调 grounded + permission-aware,而非裸聊天。商业 SaaS 功能,非开源;对企业「受控 RAG Agent」落地形态是清晰样板。

AWS