谷歌一口气补齐第八代 TPU：TPU 8tx 做硬件级机密推理，TPU 8i Max 双芯封装把算力、SRAM 和 HBM 带宽都翻倍

十多年前，我们最初设计 TPU 是出于 Google 内部需求，包括语音识别和语言翻译。八代 TPU 之后，应用场景已经爆发式增长，涵盖：一、训练和服务我们自己的 Gemini 模型；二、智能体工作负载；三、在我们的云基础设施上为 Google Cloud 客户提供服务；以及最近的四、允许客户把 TPU 直接部署到他们自己的数据中心。TPU 如今是一项快速增长的业务，客户已近 100 家，包括前沿实验室、交易公司、零售商、大学等。

在 4 月的 Google Cloud Next 上，我们推出了同一代的两款专用 TPU：用于大规模训练的 8t 和用于实时推理的 8i。与上一代 TPU 相比，TPU 8t 的训练性能最高提升 2.7 倍，TPU 8i 的推理性价比提升 80%。

今天，我们更进一步，为第八代 TPU 产品组合再增加两套系统：面向超大上下文窗口、单机架算力密度最高的 TPU 8i Max，以及面向安全与机密推理的 TPU 8tx。这是我们第一次在一年内推出四套 TPU 系统。

扩展后的第八代 TPU 产品组合：TPU 8t、TPU 8i、TPU 8tx 和 TPU 8i Max。

我们一直与 Google DeepMind 合作协同设计 TPU，而现在也越来越多地收到外部机构对其具体需求的反馈。随着计算从「人的规模」走向「智能体的规模」，企业在要求能够在 AI 模型超大上下文窗口上进行推理的加速器。此外，一些受到严格监管的客户也在为特殊工作负载要求专门的加密能力。

我们今天发布的新 TPU 系统正是为应对这一新现实。结合我们最近关于 PyTorch 的发布，我们的目标是让每一位开发者和云客户都能更容易地用上 TPU。通过把模块化的定制芯片与开放、易用的软件栈结合起来，我们能够以 AI 行业的节奏交付新的硬件和系统配置。

围绕芯片构建计算机

今天我们发布的是两套新的 TPU 系统——而新芯片和新系统之间有一个重要区别。

设计一款新芯片，意味着在硅晶圆上排布数十亿个微观晶体管，这是一个受物理定律约束、制造周期复杂且漫长的多年过程。而系统则关乎我们如何把计算、网络和存储围绕芯片组合在一起，包括它们与芯片如何封装，从而快速满足新出现的客户需求和研究用例。

十多年前打造第一款 TPU 时，我们就知道 AI 软件的演进速度会远远快于芯片制造。所以我们在系统平衡和模块化上下了根本性的赌注，把 TPU 设计成 AI Hypercomputer 中的积木，让工程师能够快速调整其周围的封装、高速内存、光网络和安全能力。这种做法让我们能在几个月而不是几年内交付专用超级计算机。

面向安全、高上下文 AI 的专门化

第八代 TPU 产品组合中的每套系统都针对 AI 生命周期中的不同环节。

TPU 8t 和 TPU 8i 奠定了这一代芯片的基线：

• TPU 8t 被设计为大型基础模型的训练主力，追求最大的「goodput」，即每瓦能耗所交付的有效智能。
• TPU 8i 是推理引擎，旨在打破内存墙，把芯片间通信延迟最多降低一半。

现在，随着企业把自主智能体投入生产，我们基于这些基础系统打造了两种新配置，来解决两个紧迫的新挑战：硬件级数据安全和百万 token 级的上下文规模。

TPU 8tx

TPU 8tx 是我们的第三套第八代系统，针对安全与机密推理做了优化，也很适合小规模训练。它面向在最敏感数据旁运行前沿或专有模型以及自主智能体的受监管企业和政府。

通常，数据在存储或通过网络传输时是加密的，但在计算机处理时必须在内存中解密。TPU 8tx 与 TPU 8t 采用相同的芯片，并搭配第五代 AMD EPYC CPU 主机，把安全能力直接构建在硬件层，让敏感数据和模型权重即使在使用中也保持受保护和隔离。并且通过采用我们为实时推理打造的同一套低延迟 Boardfly 网络，TPU 8tx 让多步智能体持续运转，与 TPU 8t 相比延迟最多降低 2 倍，性能损失几乎为零。

把训练级算力与快速推理网络结合，也意味着组织可以在同一套系统上同时运行和定制模型。TPU 8tx 让团队能够用私有数据微调模型、把大模型蒸馏成小模型、通过强化学习训练智能体，而这一切都不需要在不同集群之间迁移敏感数据。

TPU 8tx 专为敏感的企业工作负载设计，为私有微调和安全的智能体执行提供硬件级机密计算。

TPU 8i Max

我们的第四套系统 TPU 8i Max 针对的是另一个问题：内存墙。

当几十个 AI 智能体同时在整个软件代码库或数小时的视频上协作时，内存带宽很快就会成为瓶颈。所以我们把两颗低延迟的 TPU 8i 芯片合并到了同一个封装上。

TPU 8i Max 让算力和内存同步扩展，提供 TPU 8i 两倍的算力、两倍的 SRAM 和两倍的 HBM 带宽，让处理器始终备好所需数据，大型工作负载不会停顿。此外，由于 TPU 8i Max 在现有机架占地内容纳了两倍的芯片，数据中心每平方英尺、每瓦可以部署显著更多的算力。

双芯片的 TPU 8i Max 系统，专为超大上下文窗口和最高算力密度而设计。

虽然这四套系统在各种工作负载上都很灵活，但合起来，第八代 TPU 为客户在智能体生命周期的每个阶段都提供了专用加速器：TPU 8t 用于规模化训练，TPU 8i 用于低延迟推理，TPU 8tx 用于机密计算，TPU 8i Max 用于超大上下文窗口和单机架最高算力密度。

向每一位开发者开放 TPU

十多年前我们推出第一款 TPU 时，只有少数几家公司在运行需要 TPU 处理能力的工作负载。那时的用例很专门，工程师会使用经过优化的框架和手工调优的代码。

多年来，随着 AI 的进步，越来越多公司开始使用加速器。如今 AI 的普及程度已经到了 TPU 适合各种公司和用例的阶段，因此我们一直在系统性地消除采用障碍，让 TPU 像通用硬件一样易用。

这些投入今天在以下几个关键领域汇聚：

• **向每一位 PyTorch 开发者开放 TPU 开发，无需重写代码：**上个月，我们开源了 TorchTPU，PyTorch 代码和 Hugging Face 模型现在可以在 TPU 上原生运行，同时为 vLLM 和 SGLang 等领先的开源推理引擎提供开箱即用的 TPU 后端。为了让硬件优化毫不费力，我们新的开源 TPU 智能体套件（现为预览版）可直接接入 Claude Code、Cursor 和 Google Antigravity 等编程工具，几分钟内自动完成 TPU 上手、诊断瓶颈，并用自然语言自动调优自定义内核。对于生产部署，我们新的开源 XLA Serving Engine 让你用 Python 训练模型，然后直接在跨 TPU、GPU 和 CPU 的低延迟 C++ 运行时中提供服务。
• **在 InferenceX 和 AgentX 基准上取得业界领先的生产性能：**在生产中，真正重要的是真实 AI 工作负载上的结果，而不是理论峰值芯片速度。在测试真实智能体编程和长上下文工作的行业标准 InferenceX 和 AgentX 基准上，我们在 TPU 上的原生 vLLM-TorchTPU 软件栈取得了最先进的性价比成绩。新的评估表明，这些优势覆盖大量前沿开源模型和开源服务栈，同时保持很高的模型准确率。同一硬件上即将推出的软件优化会进一步提升这些结果。
• **消除自主智能体的闲置算力浪费：**由于 AI 智能体是有状态的，它们经常在等待数据库查询、外部软件工具或人工反馈时暂停几秒到几小时。为了让加速器在这些暂停期间更节能，我们新的 Agent Compute Engine 软件会自动挂起空闲的智能体会话，并在毫秒级把工作内存移出芯片，降低基础设施运营成本。
• **用模型状态层（TPU Sync）突破内存墙：**围绕芯片构建计算机，也意味着在软件中统一内存、存储和网络。当智能体在百万 token 上下文和持续强化学习（RL）循环中推理时，内存很快会成为瓶颈。我们正在开源 TPU Sync，即 TPU 集群的模型状态层。TPU Sync 把芯片 HBM、主机 DRAM、共享存储和数据中心网络变成一个协同设计的统一内存层级——在毫秒级自动把海量 KV 缓存分层移出芯片，在分离的 prefill 和 decode 节点之间流式传输上下文，并同步 RL 权重，把 KV 传输延迟和首 token 时间（TTFT）降低 90% 以上。
• **从单个控制器扩展 TPU 上的分布式工作负载：**Cloud Pathways 现已在 Google Kubernetes Engine（GKE）上正式可用，把支撑 Gemini 的 Google DeepMind 运行时带给每一位 Google Cloud 客户。借助单控制器架构和 pathwaysutils，你可以像操作一台本地机器一样，跨多个切片编排大规模 TPU 系统，用于预训练、强化学习和多主机推理。Cloud Pathways 通过同位部署的 Python sidecar、一分钟内的切片热替换和弹性重分片，让长时间运行的任务在硬件故障中保持运转。
• **用 GKE 动态切片按需拼接自定义 TPU 拓扑：**现已正式可用的 GKE 动态切片利用光路交换（OCS）技术，把物理硬件供给与逻辑切片的形成解耦。通过动态地把 TPU 立方体组装成更大的拓扑（超切片），或即时划分为更小的隔离工作负载（子切片），这次更新彻底消除了僵硬的手动节点池重建周期。这种拓扑灵活性让任务启动时间最多缩短 5 倍，故障恢复最多加快 4.5 倍，最大化所有 TPU 的整体集群利用率和工作负载 goodput。

用十年经验进行协同设计

一年内交付四套 TPU 系统和统一的开放软件栈，只有在芯片架构师、网络工程师、编译器团队和 Google DeepMind 研究人员并肩工作时才可能实现。

我们甚至越来越多地借助 AI 来构思和打造下一代 AI 基础设施。从使用 Google DeepMind 的 AlphaChip 强化学习系统，到用 Gemini 在几小时而不是几周内完成芯片布局，我们正在用 TPU 驱动的 AI 服务快速加速下一代 TPU 硬件的开发。这才是真正的协同设计，也是 Google 独特的差异化优势。

想进一步了解我们的新 TPU 系统，请收看今天太平洋时间上午 9 点的直播。