(原标题:AI芯片创业者,必看!)
如果您希望可以时常见面,欢迎标星收藏哦~
来源:内容编译自semiengineering,谢谢。
蓬勃发展的人工智能市场见证了无数初创公司获得融资,这些公司都凭借着打造速度更快、功耗更低和/或成本更低的人工智能推理引擎的想法获得了资金支持。进入市场的动态部分涉及决定是否提供芯片或 IP——一些新进入者在芯片和 IP 实现之间来回切换。
一些公司选择销售芯片,而另一些公司选择授权知识产权,这一事实表明,提供推理技术并没有一种明显正确的方法。而各种关键决策表明,创始人要么没有从现实的角度考虑全局,要么计算并不简单。考虑因素包括目标市场、可用资金,甚至可能包括提供的解决方案是加速器还是处理器。但在幕后,软件开发可能会混淆结果。
在本报告中,芯片是指专用的 AI 处理引擎。CPU 和 GPU 可以处理任何 AI 应用程序,但性能、功耗和/或成本可能会受到影响。此处讨论的不是分配推理工作负载的通用处理器,而是专用于执行推理的芯片,其设计妥协更少。
如今,主要的决策是在销售芯片和授权 IP 之间做出选择。芯片组也可以影响这一决策,但到目前为止,除 HBM 内存外,几乎所有使用的芯片组都是内部开发的。然而,未来的前景是芯片组市场,在这个市场中,“芯片”设计师可以构建一个芯片组,并将其连接到另一家公司销售的另一个芯片组上。随着公司将芯片和 IP 结合起来作为一项基本的上市决策,芯片组选项将发挥更大的作用。
收入
任何投资决策都始于资金。创业公司需要种子资金才能生存,而种子资金需要投资回报的前景。回报来自利润,虽然利润需要收入,但收入本身并不能保证利润。此外,即使收入带来利润,更多的收入也不一定意味着更高的利润率。
芯片的收入模式是按片定价。利润自然由成本决定,而成本是芯片中最高的。Expedera 营销副总裁 Paul Karazuba 表示:“如果你涉足芯片行业,前期投入将非常大。你会押注一两件事,而且这些赌注非常大。但回报可能非常丰厚。芯片带来的收入将远远高于 IP 带来的收入。”
Quadric首席营销官 Steve Roddy对此表示同意。“狭窄市场契合的经济学意味着,唯一可行的商业模式是成为一家完整的硅片供应商——除非你瞄准的市场是一个巨大的市场,比如手机,并且你有一条万无一失的途径打入前五大 AP 芯片供应商行列。更有可能的是,你瞄准的市场年销量可能为 5000 万或 1 亿台。如果你试图将你的加速器解决方案作为 IP 推向市场,每台收费 10 美分或 20 美分,那么财务上永远无法实现。100% 的市场份额可能带来 1000 万美元的专利使用费,这不是一个可行的商业计划。但是,用 10 美元的芯片解决方案获得 1 亿台市场 25% 的市场份额意味着年收入 2.5 亿美元。风险投资家会开出支票追逐 2.5 亿美元的年收入,但不会追逐 1000 万美元。”
IP 的收入模式通常是许可费加上每次使用版税,可能还会加上非经常性工程 (NRE) 费用。IP 收入要素如何平衡取决于谈判。试图节省现金的小客户可能更喜欢更高的版税,这样他们最终会在赚钱时付款。相比之下,大公司则试图避免版税——尤其是对于智能手机等大批量应用。
“制定版税的方法有很多种,但通常都是基于每块芯片的一定金额,”Karazuba 说道。“IP 提供商规模越大,偏离标准版税的可能性就越小。”
销售前景较好的公司最终可能会设计自己的 IP 供内部使用,而不是支付专利费,其中有几家公司就是这么做的。虽然初创公司开发的 IP 往往涉及某种差异化电路巧妙性,但内部开发的引擎 IP 更简单,因为它只需要运行得足够好。它不是在公开市场上竞争。
Synopsys ARC AI 处理器产品经理 Gordon Cooper 表示:“所有移动厂商都有自己的业务。如果你要出货 1 亿台设备,你肯定不愿意支付专利费。”
利润
芯片需要 IP 不承担的额外成本。由于大多数 IP 块都是通过测试芯片验证的,因此芯片和 IP 都需要物理设计和流片。但生产该芯片是 IP 的开发成本,而这是芯片的生产成本。对于 IP 和芯片而言,封装设计和生产成本是不必要的。
“芯片将需要更多的人手——不仅是工程人员,还有运营和生产人员,”Karazuba 说。“你必须考虑 RMA 流程。有了 IP,它就变成了一个更加资本友好的环境。你需要你的工程师,你需要一些支持人员,但这些才是你真正需要的。”
IP 的客户与芯片不同。它出售给其他芯片制造商,而不是系统公司。从公开市场获得的芯片也类似,如果一家公司想同时做芯片和 IP,这就会引起担忧。“你真的不可能既做 IP 又做芯片公司,”Karazuba 说。“在许多情况下,你会与自己的客户竞争,尤其是如果他们是商业硅片制造商。”
图 1:不同 AI 实现的成本负担。图中未显示适用于所有四种选项的软件。芯片和芯片组具有相似的全芯片设计,但芯片组可能仍然更简单,因为除了 AI 功能外,它所需要的只是与其他芯片组通信的接口设计。
对于 IP 公司来说,服务通常在客户的设计完成并合格后结束。购买 IP 的芯片制造商随后为系统构建商提供服务。如果某些 IP 相关服务包括功能定制,则这些成本可能会被 NRE 费用抵消。
基于这些成本,IP 的利润率往往高于芯片。但如果机会足够大,芯片的总利润仍可能更高。“你的顶线 IP 收入不会接近芯片的水平,但你的盈利能力要高得多,”Karazuba 说。
面向未来的解决方案
乍一看,制造芯片似乎比 IP 对解决方案未来的市场营销性施加了更多限制,因为 IP 尚未融入硅片。“如果你是一家芯片公司,那么一旦你的芯片流片,它的功能就是它的功能,”Karazuba 说。GPU 等强力解决方案具有最大的灵活性,但专用推理芯片必须找到一个最佳平衡点,既要对目标系统足够高效,又要保持灵活性以适应市场的变化。
Synopsys 的 Cooper 表示:“从可编程的角度来看,除非你只有一小部分算法 — — 而这就是你想要做的全部,而且你不必确保产品面向未来 — — 否则它可能是一个深度嵌入的应用程序。也许那时你就可以将其硬连线。”
通用专用推理芯片并不常见。大多数芯片都针对特定的工作负载,这限制了设计所需的广度。如果多个机会除了少数例外之外都具有共同的特征,那么超集芯片可能是一种降低运营成本的方法,可以在生产过程中将不必要的电路融合在一起。但是,如果这两个机会是简单的对象识别和自然语言处理,那么超集芯片必须禁用太多硅片才能具有成本效益,而单独的芯片则更具吸引力。
不同的市场也有不同的高级需求,一个芯片可能无法满足所有需求。“如果你正在制造汽车处理器、智能手机处理器、家用扬声器或边缘处理器,你不能只是将它们转移到不同的市场,”Karazuba 说。“IP 让你的行动更加轻松。”
既然如此,这种芯片的未来发展需要对目标市场的发展做出预期。以视觉处理为例,如果市场战略家预计红外成像将变得与可见光成像一样重要,那么加入第四个通道的能力可能很有意义。然而,过度配置只会降低盈利能力。
可以展望多久?
芯片也有预期的销售寿命。这一决定会影响系统设计。一旦设计人员转向新技术,旧解决方案就会开始过时。路线图可能会预测最终的过时,并在两三年后推出替代芯片。在这种情况下,“未来”只有几年,这是可以管理的。
Karazuba 表示:“智能手机对积极打造这一代手机的时间有预期。一旦手机投入生产,就会发布更多网络。因此,无论您是在打造芯片还是构建 IP,您仍然必须具备使用新网络的能力。”
尽管如此,人工智能技术的发展速度非常快。新技术可能在一夜之间出现,就像大型语言模型一样,完全颠覆了深思熟虑的战略计划。这种黑天鹅事件本质上是不可预测的,因此无法预测。
例如,CNN 的特定样式长期以来一直是热门话题。“我们中的许多人都吃尽了苦头,”Cooper 说。“我们都做了 3×3 卷积,这很棒,直到可分离卷积出现。”
更大的灵活性将有助于弥补这一变化,但要增加多少灵活性是每个公司必须做出的决定。“如果你想走在最先进的前沿并运行最新最好的模型,那么牺牲灵活性来换取效率可能不是一个好举措,”机器学习技术副总裁兼Arm研究员 Ian Bratt 说。
其他人也同意这一观点。西门子 EDA 高级综合部门项目总监 Russ Klein 表示:“任何开发通用 AI 处理芯片(或小芯片或 IP)的人都需要在设备的可编程性和通用性与性能和效率之间取得平衡。保持可编程性和通用性使其在部署新算法时更有可能仍然有用。将某些功能集成到硬件中将提高性能和效率,这会使设计在今天更有价值,但也增加了未来过时的风险。如果使其过于通用和可重新编程,它就会失去与 CPU 和 GPU 的差异化。”
IP 制造商拥有更多的回旋余地。Cadence 的 AI IP 产品营销总监 Jason Lawley 表示:“因为我们是 IP 提供商,所以我们更通用。”但这取决于 IP 的营销方式。如果目的是让它附带必要的工具,以最少的指导来配置和实施 IP,那么它必须像芯片一样经过深思熟虑。
规模较小的 IP 提供商通常拥有一部分基础 IP,然后根据客户要求进行定制。这减少了前期必要的 IP 设计时间,以最小可行产品带来早期收入。然后,随着机会的出现,可以逐步添加其他更改和功能。
“我几乎每天都会看到新的网络,”卡拉祖巴说。“我能够将这些网络的支持构建到我的硬件和软件代码树中,并定期发布——每周,甚至每天。”
使用芯片分摊差异
芯片介于芯片和 IP 之间,共享与芯片相关的许多成本,但不共享封装开发和生产成本。如果推理引擎需要先进的硅节点而封装内的其他元素不需要,或者单个芯片太大,它们特别有用。
Synopsys 产品和解决方案营销高级总监 Todd Koelling 指出:“如果你因为加速器而处于前沿节点,那么你必须为整个芯片支付额外费用(在制造单片芯片时)。”“如果你打破了光罩,那么你就必须将芯片分解成小芯片。”
芯片是折衷方案。“芯片提供了一个生产硅片的机会,虽然收入不如芯片那么多,但比 IP 公司多,”Karazuba 说。“但它仍然会带来很多芯片公司需要的成本。”
业界仍在摸索最佳方案。“小芯片技术很可能会改变决定投资者决策的财务计算,”克莱恩说。“对于成功的 IP 授权公司来说,小芯片将提供一条途径,使单位收入增加一个数量级,同时减少授权设计启动,从而减少授权收入。但小芯片不太可能对狭义的 AI 加速器的游戏规则产生重大改变。针对一个市场的加速器需要作为全芯片解决方案提供,才能产生足够的收入,而小芯片只会对全芯片解决方案是单片芯片还是多芯片封装产生微小的改变。”
芯片组还提供了比芯片更大的灵活性,但比 IP 更少。“任何在芯片组上包含 AI 加速器的系统都有可能快速转向采用最新算法的新芯片组,速度比重新设计完整的 ASIC 更快,前提是存在标准接口,”Klein 指出。
给我钱
对于所有三种 AI 推理引擎实现,批量收入可以在设计准备好投入生产后立即开始,但仅限于客户与推理引擎设计同时开发的领先设计。大多数其他客户将在引擎发布后了解产品可用性,因此批量收入必须等待系统设计完成。
从理论上和简单的角度看,芯片的量产时间最长,而 IP 所需的时间最短。芯片比芯片需要更多的设计,生产必须包括封装。这也使其认证和生产时间更长。芯片可能会有更快的物理设计、制造和认证。IP 只需要测试芯片的物理设计、生产和认证,而不是生产芯片。它也不需要批量生产来上架。
图 2:上市时间的定性比较。持续时间可能相差很大,并且未按比例显示。战略领先客户可能会在进行推理引擎投入生产所需的工作的同时进行系统设计。该分析假设软件是并行设计的,而不是限速步骤,但这种假设很容易出错。
值得注意的是,每个步骤所需的实际时间可能因公司而异,取决于资金和可用人员——更不用说能力了。因此,执行不力的 IP 实施可能需要比完整芯片更长的时间才能实现收益(对于一些初创公司来说,这种情况已经发生过)。
您的功能是什么?
Quadric 的 Roddy 对最佳的上市方式有不同的看法。“如何选择最有可能取得成功的道路?答案出奇地简单:创新架构是加速器还是成熟的处理器?根据定义,加速器是专门的功能块,可从主机 CPU 或 DSP 卸载部分 AI/ML 算法。如果架构是加速器,则其适用范围狭窄,要么是一小类算法,要么是一组已知的当前算法。如果架构师选择加速一小部分已知算法,则该架构师已经将使用范围缩小到单个应用程序或共享已知工作负载的类似终端市场用途的小集群。”
然而,处理器是一种更通用的可编程组件,可以应用于更广泛的工作负载。IP 和芯片都已证明在这方面取得成功。
Roddy 表示:“正如过去 20 年成功的 CPU IP 和 DSP IP 公司所证明的那样,完全 C/C++ 可编程处理器的广泛适用性为数百个潜在终端市场提供了一千多个潜在授权商。”“Arm 声称在其长期经营期间已与一千多家公司签订了协议;Cadence 的 Tensilica 部门报告称其客户超过 500 家。Quadric 之所以选择 IP 授权模式,是因为可以使用该架构的细分市场的广度降低了市场集中度风险,而避免掩模版和制造成本的能力则降低了资本要求。”
没有唯一正确的答案
最终,产品如何进入市场的选择将取决于许多因素,从收入到盈利能力再到收入实现时间。初创公司必须找到一个让投资者和客户都满意的最佳平衡点。
计算并不容易,从那些从一个产品转向另一个产品的初创公司可以看出。有些从芯片转向 IP,有些则相反。最终,许多公司未能完成开发流程,因此很难找到确凿的证据来证明所做决定是明智还是愚蠢。
这些延迟通常与软件有关,而不是与硬件细节有关。大多数软件开发工作都涉及在硬件上实现网络,无论硬件如何销售,这一点都是一样的。一味关注硬件而忽视软件,可能会使芯片与 IP 之间的选择变得毫无意义。
幸运的是,市场机会巨大。NVIDIA 设定了一个令人难以置信的价格保护伞,既揭示了客户愿意支付的价格,也诱惑他们提供更便宜或更耗能的产品。一旦初创公司开始与 NVIDIA 同台竞技,就会更容易更客观地评估如何成功销售推理解决方案。
https://semiengineering.com/whats-the-best-way-to-sell-an-inference-engine/
半导体精品公众号推荐
专注半导体领域更多原创内容
关注全球半导体产业动向与趋势
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4009期内容,欢迎关注。
『半导体第一垂直媒体』
实时 专业 原创 深度
公众号ID:icbank
喜欢我们的内容就点“在看”分享给小伙伴哦