(原标题:Meta自研训练芯片要来了,集成RISC-V内核)
如果您希望可以时常见面,欢迎标星收藏哦~
来源:内容编译自tomshardware,谢谢。
几年前,Meta 是首批为 AI 推理打造基于 RISC-V 的芯片的公司之一,旨在降低成本并减少对 Nvidia 的依赖。据路透社报道,该公司更进一步设计了(可能是在博通的帮助下)用于 AI 训练的内部加速器。如果该芯片能够满足 Meta 的目标,它可能会减少对高端 Nvidia AI GPU(如H100 / H200和B100 / B200)的依赖,以训练高级大型语言模型。
据该报道,Meta 和博通已与台积电合作,完成了 Meta 的首款 AI 训练加速器的生产。台积电生产了这些芯片的首批工作样品,合作伙伴已成功推出该设备。目前,Meta 已开始有限部署该加速器,在扩大生产和部署之前评估其性能。目前尚不清楚 Meta 的工程师是否正在对新芯片进行基准测试。该芯片已经部署并发挥了一些作用。
该芯片的规格尚不清楚,但通常情况下,AI 训练芯片采用一种称为“脉动阵列”的设计。该架构由按行和列排列的相同处理单元 (PE) 的结构化网络组成。每个单元处理涉及矩阵或向量的计算,数据按顺序流经网络
由于该处理器专为 AI 训练而设计(这意味着要处理大量数据),因此预计该处理器将配备 HBM3 或 HBM3E 内存。考虑到我们正在处理定制处理器,Meta 定义了其支持的数据格式和指令,以优化芯片尺寸、功耗和性能。至于性能,该加速器必须提供与 Nvidia 最新的 AI GPU(例如 H200、B200 以及可能的下一代B300)相媲美的每瓦性能特性。
该芯片是 Meta 的 Meta 训练和推理加速器 (MTIA) 项目的最新成员。该项目曾面临各种挫折,包括在类似阶段停止开发。
例如,在有限的部署测试中,Meta 内部推理处理器未能达到性能和功率目标,因此停产。这一失败导致 Meta 在 2022 年改变了战略,大量订购 Nvidia GPU,以满足其即时的 AI 处理需求。
从那时起,Meta 就成为 Nvidia 最大的客户之一,购买了数万台 GPU。这些设备对于训练用于推荐、广告和 Llama Foundation 模型系列的 AI 模型至关重要。据路透社报道,这家绿色公司的 GPU 还用于推理过程,支持 Meta 平台上超过 30 亿每日用户的互动。
https://www.tomshardware.com/tech-industry/artificial-intelligence/meta-is-reportedly-testing-its-first-rsic-v-based-ai-chip-for-ai-training
半导体精品公众号推荐
专注半导体领域更多原创内容
关注全球半导体产业动向与趋势
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4061期内容,欢迎关注。
『半导体第一垂直媒体』
实时 专业 原创 深度
公众号ID:icbank
喜欢我们的内容就点“在看”分享给小伙伴哦