(原标题:NAND,也要迎来HBM时刻?)
如果您希望可以时常见面,欢迎标星收藏哦~
NAND厂商可能是AI热潮里最被忽视的角色之一。
不同于DRAM厂商有HBM这柄大杀器,NAND在AI方面的增长其实非常有限。
首先是AI计算对于对DRAM需求远大于NAND,AI大模型训练(如GPT-4、Gemini)需要巨量的参数和中间计算数据,需要超高带宽和低延迟的存储。DRAM(特别是HBM)可以提供高达1TB/s以上的带宽,而NAND(即使是PCIe 5.0 SSD)带宽只有7~14GB/s,延迟高达几十微秒,完全无法满足AI计算核心需求。
而且AI芯片通常会直接封装HBM,而NAND只是AI服务器的二级存储,并非AI计算核心组件,这使得DRAM(尤其是HBM)成为AI计算的刚需,而NAND仅是数据存储的附属需求,导致前者利润远大于后者。
其次,在训练端,NAND主要用于存储数据,而不是计算加速。AI数据中心使用的 SSD主要是存储AI训练数据集(如LLM训练的语料、图片、视频),但训练本身并不需要高频访问这些数据,一旦数据加载到GPU DRAM(HBM或GDDR),NAND的作用就大幅降低,不像DRAM那样被不断访问。
至于推理端,对NAND需求就更小了,推理阶段的大部分模型参数早已存入HBM或DRAM,NAND只存放预处理数据,需求远不如训练阶段,即便推理规模扩大,NAND的增量需求仍然相当有限。
以上还只是在AI应用端的挫折,当我们放眼整个NAND市场时,厂商所面临的窘境就更加突出了:NAND更容易扩产,主要竞争对手数量也比DRAM更丰富,这也导致了更容易出现一荣俱荣,一损俱损的局面,而且许多AI数据中心仍采用HDD+SSD混合存储架构,并未完全转向SSD,尽管有增量,但幅度并不大。
这也让NAND春天来的格外的晚。
悲喜交加的NAND
去年的NAND市场,就像是坐了一场过山车,厂商们还没开心几天,又过起了苦日子。
在经历2023年库存高企的至暗时刻后,NAND在2024年开年就迎来了需求端的双重利好。第一季度全球智能手机出货量同比增长8.2%,中国市场的"以旧换新"政策刺激效果超预期,带动256GB以上大容量机型占比提升至67%。
与此同时,AI服务器建设热潮推动企业级SSD需求激增,单季度采购量环比增长32%,其中北美三大云服务商的订单占据全球总量58%。
除此之外,NAND主要厂商的战略性减产开始奏效,三星将西安工厂产能转向232层3D NAND,美光则对消费级产品线实施20%的产能缩减。这种结构性调整使NAND Flash合约价在Q1实现17%的环比涨幅,其中1TB TLC SSD批发价突破45美元关键位,较2023年Q4低谷回升23%。
2024年8月,TrendForce发布了最新enterprise SSD研究报告,其指出,由于AI需求大幅升温,AI server相关客户向供应商进一步要求加单enterprise SSD。上游供应商为了满足SSD在AI应用上的供给,加速制程升级,开始规划2YY产品,预期2025年量产。
TrendForce表示,AI server客户对供应商加单的情况,导致enterprise SSD合约价于2023年第四季度至2024年第三季度间的累积涨幅超过80%。
TrendForce指出,2024年AI server SSD需求市场除了16TB以上产品需求自第2季大幅上升,随着NVIDIA H100、H20和H200等系列产品到货,相关客户开始进一步加大TLC 4、8TB enterprise SSD订单动能。
TrendForce预估,2024年AI相关SSD采购容量将超过45EB,未来几年AI server可望推动SSD需求年增率平均超过60%,而AI SSD需求在全部NAND Flash的占比有机会自2024年的5%,上升至2025年的9%。
在供给市场面,由于inference server采用大容量SSD产品的趋势不变,供应商已开始着手加速升级制程,规划从2025年第1季起开始量产2YY/3XX层,进而量产120TB enterprise SSD产品。
而在9月,TrendForce又发布了2024年第二季度的NAND报告,全球NAND闪存出货量增长有所放缓,但受AI SSD需求推动,销售额增长了14.2%,达到167.97亿美元。
TrendForce指出,由于个人电脑和智能手机买家的库存水平高,NAND 出货量较上一季度下降了 1%。然而,AI对大容量存储产品的需求推动平均销售价格(ASP)上涨约15%。其表示,“所有NAND供应商自第二季度起均已恢复盈利能力,并正在扩大产能以满足第三季度AI和服务器市场的需求。”
不难看出,NAND好消息基本都来自于企业的AI数据中心,而坏消息都来自于消费端,这种泾渭分明的问题,第一季度还不是很明显,在第二季度结束时愈发突出。
这一点也在厂商的财报中可以看出来,尽管头部厂商持续减产,但渠道库存仍高达6-8周(较健康水平高出40%)。美光Q2财报显示,企业库存周转天数仍维持在98天高位。消费电子市场出现"旺季不旺"现象,618大促期间SSD零售量同比下滑12%,引发渠道商恐慌性抛售,512GB TLC SSD现货价单周暴跌9%。
除此之外,NAND厂商也正面临着技术迭代的阵痛期。三星的321层NAND量产进度延迟,导致原本计划的成本下降红利未能兑现。同时长江存储的232层产品良率爬升至85%,加剧中低端市场竞争。价格战在QLC产品线尤为激烈,1TB QLC SSD OEM价格跌破35美元,迫使铠侠暂停日本四日市工厂两条旧产线。
到了2024年第三和第四季度,NAND市场彻底步入冰火两重天的局面,智能手机存储容量升级进入平台期,主流机型定格在512GB配置,致使需求增速放缓至个位数。PC OEM厂商转向"性能优先"策略,需求放缓,两方面共同导致NAND Flash四季度市场规模环比下降8.5%,ASP与出货量双双出现大降。
与之形成鲜明对比的是AI数据中心市场。微软Azure部署的30TB QLC SSD集群实现4倍存储密度提升,超大规模数据中心加速淘汰15K RPM HDD,企业级SSD采购量同比增长41%,其中30TB以上产品占比首次突破25%。值得注意的是,QLC在企业级应用的擦写次数突破5000次,可靠性疑虑基本消除,迅速带动了NAND在企业端的出货量。
对于NAND厂商来说,市场在2024年恢复了一部分元气,甚至由于AI的存储需求而迎来难得的大幅度增长,正所谓久旱逢甘霖,微微上扬的箭头让它们终于松了一口气。
但与此同时,消费电子市场长期的疲软还是让NAND厂商背负了非常大的压力,兼做DRAM的三星、海力士和美光尚且还能过得去,像铠侠和西部数据这样只做NAND的厂商,就显得非常吃力了。
也正是如此,大家加快了寻找新出路的步伐。
NAND,迎来HBM时刻?
NAND新出路是什么?相信所有的NAND厂商都会不约而同地把目光放在隔壁的HBM上,作为AI芯片必不可少的产品之一,它为DRAM厂商挣取了几十亿乃至几百亿美元的营收,短期内的需求也完全没有下降的迹象,甚至出现了定制HBM这样的风潮,当然会让沉寂已久的NAND行业心生艳羡。
那么NAND行业是否也可以打造一个类似于HBM的产品呢?答案并不是完全否定的。
SanDisk在2月的投资者日活动上,发布了全新的存储技术高带宽闪存 (HBF) ,其允许并行访问多个高容量 3D NAND 阵列,从而提供充足的带宽与存储能力。
该公司将 HBF 定位为 AI 推理应用的理想存储解决方案,兼顾高带宽、高容量以及低功耗需求。首代 HBF 技术可为 GPU 提供高达 4TB 的 VRAM 容量,并在未来版本中进一步提升,此外,SanDisk 还计划将该技术扩展至手机及其他设备,但未公布具体上市时间。
SanDisk 存储技术主管 Alper Ilkbahar 表示:“我们将其称为 HBF 技术,旨在增强 HBM 存储器以支持 AI 推理工作负载。我们的目标是匹配 HBM 存储器的带宽,同时在相似成本下提供 8 至 16 倍的容量。”
从概念上看,HBF 与 HBM 类似,它堆叠了多个高容量、高性能的闪存核心芯片,并通过硅通孔 (TSV) 互连,再叠加一个逻辑芯片,使其能够并行访问多个闪存阵列(或子阵列)。HBF 的底层架构基于 SanDisk 的 BICS 3D NAND,并采用 CMOS 直接键合到阵列 (CBA) 设计,将 3D NAND 存储阵列堆叠在基于逻辑工艺的 I/O 芯片之上。这种逻辑芯片可能正是 HBF 能够实现高带宽的关键。
Ilkbahar 进一步解释道:“我们向工程师提出挑战,问他们还能如何利用 NAND 存储的扩展能力。他们的答案是——将庞大的存储阵列拆分成多个独立的小阵列,并并行访问这些阵列。这种方法极大提升了带宽,使我们能够构建高带宽闪存。”
传统 NAND 设计将核心存储阵列划分为平面 (plane)、页 (page) 和块 (block),其中块是最小的可擦除单元,页是最小的可写单元。而 HBF 似乎打破了这种传统架构,将 NAND 芯片划分为“多个小阵列”,每个子阵列(拥有独立的页和块)可能配备专属的读写通道。虽然这种方法与多平面 NAND 技术相似,但 HBF 似乎远远超越了传统方案。
目前,SanDisk 表示其首代 HBF 技术采用 16 颗 HBF 核心芯片,并研发了一种专有的堆叠技术,以确保 16 层 HBF 核心芯片在堆叠时具有最小的翘曲度。此外,其逻辑芯片能够同时访问多个 HBF 核心芯片的数据。考虑到 HBF 需要同时处理数百甚至数千个并发数据流,其逻辑处理能力远超典型 SSD 控制器。
SanDisk 尚未公开 HBF 的具体性能指标,因此目前尚不清楚 HBF 是否能够匹敌原始 HBM(约 128GB/s 的带宽)或最新的 HBM3E(例如英伟达 B200 提供 1TB/s 带宽)。不过,SanDisk 透露的一个数据是,八个 HBF 堆叠单元共提供 4TB 的 NAND 存储容量,即每个 HBF 堆叠单元可存储 512GB(约为 8-Hi HBM3E 24GB 容量的 21 倍)。
如果一个 16 层 HBF 堆叠单元存储 512GB,这意味着每个 HBF 核心芯片相当于 256Gb 3D NAND 设备,并配备了复杂的逻辑电路以实现芯片级并行访问。在 16 颗 3D NAND 芯片之间每秒传输数百 GB 的数据,仍然是一个巨大的技术挑战,让人不禁好奇 SanDisk 是如何实现这一目标的。
可以确定的是,HBF 的单比特访问延迟仍无法与 DRAM 相比,因此 SanDisk 强调其产品主要面向高吞吐量、读取密集型的 AI 推理任务。对于许多 AI 推理应用而言,核心需求是以合理成本实现高吞吐量,而非 HBM(或其他 DRAM 类型)所具备的超低延迟。因此,尽管 HBF 短期内不会取代 HBM,但它可能会占据市场中那些需要大容量、高带宽且成本接近 NAND,而无需超低延迟的应用场景。
此外,为了简化从 HBM 迁移至 HBF 的过程,HBF 采用了与 HBM 类似的电气接口,并进行了部分协议调整,但并非完全兼容 HBM。
Ilkbahar 解释道:“我们尽可能让 HBF 在机械和电气特性上与 HBM 接近,但仍然需要主机设备进行一些协议调整才能支持 HBF。”
SanDisk 并未提及 HBF 的写入寿命。众所周知,NAND 闪存的寿命有限,只能承受一定次数的写入。尽管 SLC 和 pSLC 技术相较于消费级 SSD 采用的 TLC 和 QLC 具备更高的耐久性,但这会降低容量并增加成本。此外,NAND 典型的写入单位是块级,而内存通常按缓存行级寻址(即 NAND 的典型写入单位为 128KB,而 DRAM 的缓存行通常为 32 字节),这也是 HBF 需要克服的关键挑战之一。
SanDisk 计划将 HBF 技术发展为一个开放标准,并建立开放生态系统。为此,该公司正在组建一个技术顾问委员会,成员包括“业内知名人士和合作伙伴”。
Ilkbahar 在最后表示:“我们正在让 SanDisk 重返市场,并真正在边缘实现令人惊叹的 AI 体验,他正迫不及待地想要颠覆存储行业。”
不得不说,SanDisk推出的HBF的概念对于任何NAND厂商都非常有吸引力,我们也丝毫不怀疑一旦行业将其转化为真正标准,它就有希望在未来创造比普通NAND更高的利润,可以说,HBF就是许多NAND厂商梦寐以求的HBM时刻。
有意思的是,SanDisk 的存储技术主管Ilkbahar并不是什么初出茅庐的新人,他曾担任过英特尔 Optane 集团副总裁兼总经理,尽管 Optane 技术并未取得成功,但它的精神继承者似乎已经准备就绪。
努力向AI靠拢
对于NAND厂商来说,HBF能争取AI市场,但出路并不只有一条。
首先就是进一步提升存储密度,QLC(四层单元)技术凭借比TLC高33%的存储密度,成为降低AI设备单位容量成本的关键突破点。2024年,三星推出的UFS 4.1 NAND产品,通过优化读写性能(顺序读取速度达2100MB/s)成功适配旗舰AI手机,使终端设备能流畅运行数十亿参数的大模型。
而在企业级市场,AI训练集群对数据吞吐的苛刻需求推动NVMe SSD向超大容量演进。三星推出的PM9C3a企业级SSD容量突破30TB,采用176层堆叠工艺和PCIe 5.0接口,实现14GB/s的持续读取带宽,可满足千卡GPU集群的并发数据访问需求。2024年Q2数据显示,企业级SSD价格溢价效应显著,三星该品类营收环比增长14.8%,平均售价涨幅达20%,侧面印证了高密度存储的需求依旧旺盛。
其次就是产能的动态调控,面对2023年因消费电子需求疲软导致的库存积压,全球NAND原厂在2025年初启动“精准减产”策略:美光推迟232层QLC产线扩产计划,铠侠将晶圆投入量削减15%,西部数据则将产线稼动率降至70%。这种结构性调整使2025年全球NAND晶圆投产规模缩减10%-15%,推动供需关系从过剩向紧平衡过渡。TrendForce预测,2025年下半年NAND合约价有望回升15%-20%,部分紧缺规格涨幅或超30%。
调控成效已在2024年显现:当季全球NAND出货量虽环比微降1%,但受益于15%的均价上涨,行业总营收逆势增长14.2%至167.96亿美元,六大原厂集体扭亏为盈。其中,SK海力士凭借176层QLC产品在数据中心市场的渗透,营业利润率回升至8.3%,验证了“以价换量”策略的有效性。
类似定制HBM的生态,同样也是一部分厂商的选择。SK海力士通过“存储-算力协同”策略,将企业级SSD出货占比提升至40%,其与AWS合作开发的智能分层存储系统,可使AI训练数据集加载效率提升70%。
这种生态协同效应在财报中得到验证:铠侠通过优化数据中心产品组合,2024年Q2企业级SSD营收环比激增27.7%;三星凭借存储-芯片组协同优势,在AI服务器市场斩获60%份额,巩固62亿美元的季度营收龙头地位。
展望未来,随着HBF的出现,NAND厂商的春天似乎已经不再遥远,但面对依旧激烈的市场竞争,厂商可能会围绕技术话语权展开新一轮的争斗,届时我们也不妨拭目以待,谁能在NAND市场笑到最后。
半导体精品公众号推荐
专注半导体领域更多原创内容
关注全球半导体产业动向与趋势
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4050期内容,欢迎关注。
『半导体第一垂直媒体』
实时 专业 原创 深度
公众号ID:icbank
喜欢我们的内容就点“在看”分享给小伙伴哦