谷歌迄今最强芯片，第七代TPU发布

（原标题：谷歌迄今最强芯片，第七代TPU发布）

如果您希望可以时常见面，欢迎标星收藏哦~

来源：内容 编译自 google ，谢谢。

今天，在 Google Cloud Next 25 大会上，谷歌隆重推出第七代张量处理单元 (TPU) Ironwood。它是我们迄今为止性能最高、可扩展性最强的定制 AI 加速器，也是首款专为推理而设计的加速器。十多年来，TPU 一直为 Google 最苛刻的 AI 训练和服务工作负载提供支持，并助力公司的云客户实现同样的目标。Ironwood 是谷歌迄今为止性能最强大、性能最强、能效最高的 TPU。它专为大规模支持思考和推理 AI 模型而设计。

Ironwood 代表着人工智能及其发展基础设施的重大转变。它代表着从提供实时信息供人类解读的响应式人工智能模型，到能够主动生成洞察和解读的模型的转变。这就是我们所说的“推理时代”，届时人工智能代理将主动检索和生成数据，以协作方式提供洞察和答案，而不仅仅是数据。

Ironwood 旨在支持生成式人工智能的下一阶段发展及其巨大的计算和通信需求。它可扩展至 9216 个液冷芯片，并通过突破性的芯片间互联 (ICI：Inter-Chip Interconnect) 网络连接，功率接近 10 兆瓦。它是Google Cloud AI 超级计算机架构的几个新组件之一，该架构可协同优化硬件和软件，以应对最苛刻的人工智能工作负载。借助 Ironwood，开发者还可以利用 Google 自己的Pathways软件堆栈，可靠、轻松地利用数万个 Ironwood TPU 的综合计算能力。

下面我们将详细介绍这些创新如何协同工作，以无与伦比的性能、成本和功率效率承担最苛刻的培训和服务工作负载。

Ironwood 的主要特点

Google Cloud 是唯一一家拥有十多年 AI 计算经验的超大规模提供商，致力于支持尖端研究，并将其无缝集成到 Gmail、搜索等数十亿用户的日常服务中。所有这些专业知识构成了 Ironwood 的核心功能。其主要功能包括：

1. 性能显著提升的同时，更注重能效，使 AI 工作负载能够更经济高效地运行。Ironwood的每瓦性能是公司去年发布的第六代 TPU Trillium 的两倍。在可用功率成为 AI 功能交付制约因素之一的当下，谷歌为客户工作负载提供了显著更高的每瓦容量。谷歌先进的液冷解决方案和优化的芯片设计，即使在持续繁重的 AI 工作负载下，也能可靠地维持高达标准风冷两倍的性能。事实上，Ironwood 的能效几乎是我2018 年推出的首款云 TPU 的 30 倍。

2. 高带宽内存 (HBM) 容量大幅提升。Ironwood每芯片容量高达 192 GB，是 Trillium 的 6 倍，能够处理更大的模型和数据集，减少频繁数据传输的需求，并提升性能。

3. 显著提升 HBM 带宽，单芯片高达 7.2 TBps，是 Trillium 的 4.5 倍。如此高的带宽确保了快速的数据访问，这对于现代 AI 中常见的内存密集型工作负载至关重要。

4. 增强芯片间互连 (ICI) 带宽。双向带宽提升至 1.2 Tbps，是 Trillium 的 1.5 倍，从而实现更快的芯片间通信，促进大规模高效分布式训练和推理。

据nextplatform介绍，TPU v7p 芯片是谷歌首款在其张量核心和矩阵数学单元中支持 FP8 计算的 TPU。之前的 TPU 支持 INT8 格式和推理处理，以及 BF16 格式和训练处理。Ironwood 芯片还配备了第三代 SparseCore 加速器，该加速器首次亮相于 TPU v5p，并在去年的 Trillium 芯片中得到了增强。SparseCore 芯片最初的设计目的是加速推荐模型，这些模型利用嵌入来跨用户类别进行推荐。Ironwood 芯片中的第三代 SparseCore 芯片中编码了各种算法，以加速金融和科学计算，但具体细节尚未透露。

从图中我们可以看到， Ironwood 封装的中心有两个芯片组，这让我们相信它不像之前的 TPU 那样是单片式的。在我们看来，这些芯片的组合看起来比标线极限要大一些。它有 8 个 HBM 内存组，每侧 4 个，如果今年出货，估计是 HBM3E。这意味着每个堆栈有 8 个 DRAM 单元，每个 3 GB，总共 24 GB。

Iron Word 封装包含一个位于计算芯片上方的中央芯片组，以及位于内存条上方沿顶部边缘的另外两个芯片组。这些无疑是用于芯片间互连 (ICI) 的 I/O 芯片，谷歌利用 ICI 将 TPU 芯片电连接到各个 Pod。更大的 TPU 聚合体则通过谷歌的“Jupiter”光路交换机进一步连接在一起。

Iron Word 的外观如下：

与之前的 TPU 设计一样，系统板上有四个 Ironwood TPU。我们正在努力弄清楚主板上所有这些芯片的具体结构。我们觉得 TPU 系统板插在背板上，主机服务器中可能有两个这样的 TPU，主机 CPU 也可能是其中之一，而主机 CPU 目前可能是谷歌自己的 Axion Arm 服务器 CPU。Pod 中有一些网络接口用于连接 TPU。

Ironwood TPU 有两种不同的配置：一种是适用于推理的 256 个计算引擎的 Pod，另一种是适用于训练的 9,216 个计算引擎的 Pod。（如果您的推理任务非常庞大，我们认为它可以在更大的 Pod 上运行。）TPU Pod 采用 2D 或 3D 环面拓扑结构的 ICI，具体取决于规模。以下是前两代采用更具可扩展性的 3D 环面拓扑结构的 TPU Pod 以及即将推出的 Ironwood Pod 的外观：

Ironwood TPU v7p 的 pod 尺寸比上一代 TPU v5p pod 增加了 2.85%，虽然不算多，但还是值得一试。在相同的 BF16 分辨率下，TPU v7p 芯片的 AI 训练性能比 TPU v5p 提升了 5 倍，使用 INT8 或 FP8 数据类型的推理性能也同样提升。（我们不确定是否存在 INT8 数据类型，但出于向下兼容的考虑，我们推测应该存在。）对于 AI 训练而言，FP8 数据类型可将训练吞吐量翻倍，因此比 TPU v5p 中使用的 BF16 提高了 10 倍。Ironwood 封装的 HBM 内存容量提高了 2 倍，内存带宽也提高了 2.7 倍。

新芯片上的 ICI 互连带宽提高了 12%，链路减少了三分之一，其中 TPU v7p 有四个 ICI 链路，运行速度为 1.34 Tb/秒，TPU v5p 有六个端口，运行速度为 800 Gb/秒。

以下是我们整理的更完整的 TPU 显著特性表，我们尽力填补了空白：

如上图所示，我们已尽力估算缺失数据，这些数据以红色粗斜体显示。我们还查阅了 TPU 手册，并尽可能更新了 Trillium TPU v6e 的数据。顺便说一句，谷歌正在与 Trillium 进行大量比较，Trillium 在 AI 推理方面表现不错，但如果要比较 AI 训练，那么 TPU v5p 是更佳的基准。

于AI训练而言，以下几点至关重要。搭载8960个计算引擎的TPU v5p pod在INT8分辨率下推理性能最高可达8.22 exaflops，在BF16分辨率下训练性能最高可达4.11 exaflops（仅为其一半）。最大的Ironwood pod拥有9216个计算引擎，在FP8（可能也包括INT8）下性能最高可达42.52 exaflops，在BF16分辨率下训练性能最高可达21.26 exaflops。这意味着单个系统镜像的性能提升了5.17倍。通过OCS切换，谷歌可以在单个数据中心内整合10万个TPU v7p计算引擎，就像它已经在Trillium TPU v6e设备上所做的那样。

我们不知道谷歌会如何定价 Ironwood 的容量。不过，我们肯定会尽快通知您。以上价格和相对性价比是去年夏天的。

谷歌喜欢将其与 TPU v2 进行比较，后者是其首款能够同时进行训练和推理的自主研发 AI 引擎，早在 2017 年 5 月就已发布。基于 TPU v2 的计算能力在当年第三季度即可出租。当然，谷歌本身并不出售 TPU 或基于 TPU 的系统，也不允许第三方出售。

性能提升 3600 倍，每瓦性能提升 29.3 倍，这看起来令人印象深刻，而且在耗电 10 兆瓦的 Ironwood 大型机上实现如此高的性能似乎也情有可原。但我们需要做一些研究，才能弄清楚它与 Nvidia 系统相比如何。（这取决于你如何称呼加速器内存域。）

我们很想知道 Google 安装了多少 TPU 容量，Trillium 和 Ironwood 的安装计划是什么，以及分配给 Google 内部使用和云用户使用的 TPU 容量各占多少。

Ironwood，助力推理时代

据谷歌所说，Ironwood 旨在优雅地管理“思维模型”的复杂计算和通信需求，这些模型涵盖大型语言模型 (LLM)、混合专家模型 (MoE) 和高级推理任务。这些模型需要大规模并行处理和高效的内存访问。具体而言，Ironwood 旨在在执行大规模张量操作的同时最大限度地减少芯片上的数据移动和延迟。在前沿领域，思维模型的计算需求远远超出了任何单个芯片的容量。我们设计了具有低延迟、高带宽 ICI 网络的 Ironwood TPU，以支持全 TPU Pod 规模的协调同步通信。

对于 Google Cloud 客户，Ironwood 根据 AI 工作负载需求提供两种尺寸：256 芯片配置和 9,216 芯片配置。

当每个 pod 扩展至 9,216 块芯片，总计算能力达 42.5 百亿亿次浮点运算 (Exaflops) 时，Ironwood 支持的计算能力是全球最大超级计算机 El Capitan 的 24 倍以上，而后者每个 pod 的计算能力仅为 1.7 百亿亿次浮点运算 (Exaflops)。Ironwood 可提供处理最苛刻的 AI 工作负载所需的强大并行处理能力，例如超大规模密集 LLM 或具有训练和推理思维能力的 MoE 模型。每个芯片的峰值计算能力可达 4,614 TFLOPs。这代表着 AI 能力的巨大飞跃。Ironwood 的内存和网络架构确保始终提供正确的数据，以支持如此大规模的峰值性能。

Ironwood 还配备了增强版SparseCore，这是一款专用加速器，用于处理高级排名和推荐工作负载中常见的超大嵌入。Ironwood 中扩展的 SparseCore 支持可以加速更广泛的工作负载，包括从传统的 AI 领域扩展到金融和科学领域。

Pathways 是 Google 自有的机器学习运行时，由 Google DeepMind开发，能够跨多个 TPU 芯片实现高效的分布式计算。Google Cloud 上的 Pathways 让超越单个 Ironwood Pod 的迁移变得简单，能够将数十万个 Ironwood 芯片组合在一起，从而快速推进新一代人工智能计算的前沿技术。

“Ironwood 代表着推理时代的独特突破，它提升了计算能力、内存容量、ICI 网络的进步和可靠性。这些突破，加上近两倍的能效提升，意味着我们最苛刻的客户能够以最高的性能和最低的延迟完成训练和服务工作负载，同时满足计算需求的指数级增长。Gemini 2.5 和诺贝尔奖得主 AlphaFold 等领先的思维模型如今都在 TPU 上运行。我们迫不及待地想看到 Ironwood 在今年晚些时候正式发布后，由我们的开发者和 Google Cloud 客户带来哪些 AI 突破。”谷歌总结说。

https://blog.google/products/google-cloud/ironwood-tpu-age-of-inference/

https://www.nextplatform.com/2025/04/09/with-ironwood-tpu-google-pushes-the-ai-accelerator-to-the-floor/

半导体精品公众号推荐

专注半导体领域更多原创内容

关注全球半导体产业动向与趋势

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4090期内容，欢迎关注。

『半导体第一垂直媒体』

实时 专业 原创 深度

公众号ID：icbank

喜欢我们的内容就点“在看”分享给小伙伴哦