FLUX 3 Image Klein × TensorRT LLM VisualGen:Blackwell 上组合优化最高约 3.46× 文生图 / 4.45× 图生图
在 NVIDIA Blackwell GPU 上加速 FLUX 3 Image Klein 图像生成
2026-11-06 · Olivia Stoner、Yiheng Zhang、Chang Liu、Seonghee Lee、Gunjan Mehta
在设计工具、图像编辑与视觉生产线里部署扩散模型时,推理延迟是硬约束:图像要多轮过数十亿参数模型,分辨率一高注意力更贵。
Black Forest Labs 的 FLUX 3 Image Klein 在 NVIDIA GB200 NVL72 上训练并面向 NVIDIA GPU 优化,提供 Base 与蒸馏版以权衡延迟与保真。
本文介绍如何在 TensorRT LLM VisualGen 里为 Klein 配置融合内核、多卡并行、FP8/NVFP4、缓存与注意力优化。单卡 B200、2048×2048 上,相对未编译 BF16,组合优化最高约 3.46× 加速文生图、4.45× 加速图生图(Base)。
管线用 Qwen3-VL-4B-Instruct 做文本条件,DiT 精炼 latent,自编码器编解码。Blackwell 上 NVFP4 相对 BF16 文生图最高约 1.62×、图生图约 1.58×。
后续还可叠 PrimsTS GEMM、VC-Attention FP8 / Sol-Attention 稀疏注意力、Cache-DiT(Base 在 2048 上约 1.94×)、以及 CFG+Ulysses 八卡扩展(Base 文生图中位延迟约 14.90→3.00 秒)。
可按官方 YAML 跑离线示例或 /v1/images/generations 在线服务。
https://developer.nvidia.com/blog/speed-up-image-generation-with-flux-3-image-klein-on-nvidia-blackwell-gpus转载,侵删。版权归原作者,如有侵权请来信,收到后删除。
同一批次的其他文章
OpenAI 据报再融约 110 亿美元、估值约 1.25 万亿——低于九月约 300 亿目标,与 Anthropic IPO 下调同周共振
彭博称 OpenAI 新一轮已筹集约 110 亿美元、估值约 1.25 万亿,整轮或扩至约 200 亿、尚未完全关闭;九月曾瞄准约 300 亿。同日 Anthropic IPO 买方预期被压到约 1.1 万亿一带。中期选举后数据中心政治风险与科技股抛售同向加压。细节以彭博/公司表…
中国国安据报策反 AI 高管 Alice Huang,目标刺探黄仁勋与先进芯片情报
The Verge 转纽约时报:MSS 据称招募 Megaspeed 高管 Alice Huang(与黄仁勋无亲属关系)搜集美国 AI 芯片情报,并可能推动先进芯片对华供应。上周已有「刺探黄仁勋」报道,本次新增「已被招募」细节;众议院三委员会要求黄仁勋闭门说明互动。属国家安全舆情…
Agent 记忆部件拆解:Dreaming 用「离线回放」纠错、建 wiki、把笔记顶进下轮上下文
工程博客(Lance Martin):把 Agent 记忆比作海马体编码 + 睡眠巩固。Dreaming 对照 transcript 纠错(宝可梦月见山误标案例)、建 wiki(Stainless ~35 万文件上 2→128 轮 dreaming,25 题 13%→48%)、预…
Managed Agents 上线 Dreaming 预览:另加 Outcomes 打分条与多智能体编排
产品向:Dreaming 定时回看会话与记忆库、可自动或人工审阅后更新;Outcomes 用独立 grader 按 rubric 打分(内部称最高约 +10 分任务成功率);多智能体编排让 lead 拆活给专家子 Agent。Harvey/Netflix/Spiral/Wised…
Claude Code 被指把用户邮箱塞进 User-Agent;v2.1.317+ 隐私插件默认拦截(issue 仍开放)
简报汇总 GitHub issue #107757:编码 Agent 向第三方站点发请求时 User-Agent 含邮箱;评论称多段 subagent curl 可复现。贡献者称 cc-plugin-privacy 自 2.1.317 默认开启。对企业:查版本与 /plugins…
Agent Plugins 1.0:Amazon、Cursor、Microsoft、OpenAI、Vercel 共同推进的可移植 Agent 扩展标准
开放标准:用 plugin.json + skills/ + mcp.json 打包 Skills 与 MCP,一次构建跨 Codex/Cursor/Copilot/VS Code 等加载。谱系明显借鉴 Claude Code 插件布局;Anthropic 未列联合维护方。对企业…
Perplexity 推常驻 Agent「Teammates」:独立 VM 跑项目,需 Max(约 $200/月)
相对一次性 Perplexity Computer,Teammates 持续跟进项目,自带桌面+浏览器 VM,App 线程跟踪,可接 Slack。对标 Grok Bots / Muse / Dots / Duet。价格明显高于 Duet 入门档;公司称八月年化收入已超 7.5 亿…
超越写代码:GitHub 的 Agentic Engineering 工作流——计划/构建/验证/观察全链路
官方博客称十月单周提交超 12 亿(约同比 +400%),但 Faros 称高 AI 采用下 PR 审查时长约 +441%。给出 Copilot 在 Plan→Build→Verify→Observe 的用法:Plan Mode、云沙箱、Dreaming 更新记忆、堆叠 PR、A…
AI Gateway 接入 DeepSeek Search / Fetch:一把 Key 给任意 tool-calling 模型用联网检索
Search 回标题/URL/摘要,Fetch 拉 Markdown 正文;不需 DeepSeek 账号。AI SDK v6≥6.0.321 / v7≥7.0.160。工具费各 $0.75/千次成功请求,失败不计。对企业:把「搜索+读页」做成网关级工具,模型可换、账单统一。
Chat SDK Agent 可用 json-render 流式吐生成式 UI(Slack Block Kit / Teams Adaptive Cards)
Agent 按类型化组件目录写 JSON 规格,json-render 转卡片并按适配器发到各 IM 原生格式;streamCard 流式更新(默认≤500ms)。适合把 Agent 输出从纯文本升级成表格/图表/按钮,少为每种消息形态单独写工具。
Ripple-65B Preview:dense 65B、Apache 2.0、TerminalBench 2.1 称美国开源最高;总花费约 $3200 万
Ricursive Intelligence 预训练约 12T token;TerminalBench 2.1=80.52(公司口径)。SWE-Bench Pro Hard 79.1%、DeepSWE 44.3%、MCP Atlas 71.67%——多数低于 Inkling 2 …
TAC-CoT:工具增强的隐式 CoT——隐式段穿插显式工具调用,准度最高 +8.8、前向最高约 6.8× 更省
改进什么:显式 CoT 贵且易累积错误;纯隐式 CoT 难插工具调用。怎么做:用紧凑连续 thought token 做推理段,只在工具调用/观测/答案处保留文本,并按查询自适应段数。数学与 QA Agent 基准上相对 Explicit-CoT 提准并大减 #Fwd。KAIST…