·聚焦:人工智能、芯片等行业

欢迎各位客官关注、转发





前言: 随着人工智能、机器学习等技术的快速发展,对高速且大容量内存的需求急剧增加。

HBM与AI芯片的产业链涵盖了从原材料供应、芯片设计、制造、封装测试到最终产品的多个环节,两者之间的博弈关系是典型的合作竞争关系。

作者 | 方文三 图片来源 |  网 络 

HBM现阶段面临的挑战和难点

HBM的3D堆叠技术成本高昂,主要依赖于昂贵的硅中介层和TSV(硅通孔)。

例如,英伟达的H100加速卡物料成本为3000美元,而SK海力士提供的HBM芯片成本高达2000美元。

高成本是HBM普及的主要障碍,尤其是对于中小型厂商。尽管HBM在性能上具有明显优势,但其高昂的价格使得许多企业望而却步。

HBM的高带宽特性使其产生的热量较高,需要有效的散热解决方案。

其2.5D封装结构会集聚热量,靠近CPU和GPU的布局又会加剧这种情况。

散热问题不仅影响HBM的性能,还可能导致芯片过热和性能下降。解决这一问题需要复杂的散热设计和材料选择。

HBM的高带宽特性可能使得数据在传输过程中容易受到攻击和窃取,需要采取加密技术和访问控制等措施来保护数据安全。

数据安全性是HBM应用中不可忽视的因素。尽管有加密技术,但如何确保数据在传输和存储过程中的安全性仍然是一个挑战。

HBM通过3D堆叠及TSV技术实现高带宽和低功耗,但这也带来了堆叠精度、TSV制作、热管理、电源和信号完整性等技术难点。

这些技术难点需要高精度的制造工艺和复杂的设计,以确保HBM的稳定性和可靠性。

AI芯片在寻求其他存储方案时的权衡

一方面,生产 HBM 需要先进的生产设备和工艺,而这些资源在短期内是有限的。

例如,台积电的 CoWoS 封装技术在满足HBM生产需求方面存在一定的产能瓶颈。

另一方面,随着AI芯片需求的快速增长,HBM的需求也急剧上升。

但HBM的生产周期较长,从设计到量产需要数月的时间,这使得其产能的提升速度难以跟上市场需求的增长速度。

AI芯片制造商在选择存储方案时,需要综合考虑性能、成本、功耗、产能等多方面的因素。

然而,HBM(高带宽内存)并非普通DRAM所能比拟,其价格已攀升至令人咋舌的水平。

在相同存储密度下,HBM的价格约为DDR5的五倍。

据最新数据显示,HBM在AI服务器成本中的占比高居第三,约占整体成本的9%,导致单机平均售价激增至18000美元。

以英伟达H100加速卡为例,其整体物料成本高达3000美元,其中HBM芯片的成本占比即达三分之二,达到2000美元之巨。

对于财力雄厚的行业巨头而言,他们或许能够继续加大投入,采购更大容量的HBM以满足需求。

然而,对于中小型厂商而言,高昂的HBM成本却成为了他们进军大模型领域的重大障碍。

随着AI技术在智能手机、电动汽车及云服务等领域的广泛应用,越来越多的企业开始寻求更为经济高效的解决方案。

部分小型企业因不愿承担高达20000美元的费用,而拒绝购买市场上被视为顶尖选择的英伟达高端GPU。

Tenstorrent成替代HBM的典型案例

在此背景下,Tenstorrent公司正积极筹备其第二代多功能AI芯片的年底上市。

该公司声称,在特定领域,其产品在能效及处理效率方面均优于英伟达AI GPU。

具体而言,Tenstorrent的Galaxy系统效率为英伟达DGX AI服务器的三倍,且成本降低了33%。

这一成就部分归功于公司未采用高成本的HBM技术,该内存芯片虽能高速传输大量数据,但亦是AI芯片高能耗与高价格的元凶之一。

在典型的AI芯片组中,GPU在执行任务时需频繁向内存发送数据,这就要求HBM具备高速数据传输能力。

而Tenstorrent则通过独特设计,大幅减少了此类数据传输需求。

这一创新方法使得公司芯片在某些AI开发领域能够替代GPU与HBM,为用户提供更为经济高效的选择。

今年3月,Tenstorrent已推出基于Grayskull架构的两款开发板——e75与e150。

这两款产品均定位于推理型AI图形处理器,采用Tensix Cores构建,集成了计算单元、片上网络、本地缓存及[小型RISC-V]核心,实现了芯片内部高效的数据流动。

它们专为追求经济高效、可定制的传统GPU替代方案的ML开发人员设计。

具体而言,Grayskull e75为一款75瓦PCIe Gen 4卡,售价600美元。

其内置一颗1GHz NPU芯片,集成96颗Tensix核心与96MB SRAM,并配备8GB LPDDR4 DRAM。

而Grayskull e150则在性能上有所提升,时钟频率增至1.2GHz,核心数量增加至120个,片上内存也相应提升至120MB,但片外DRAM仍维持8GB LPDDR4规格,功耗则上升至200瓦,售价为800美元。

值得强调的是,Grayskull架构在数据中心AI加速器(GPU/NPU)中独树一帜。

其Tensix核心排列方式包含多个CPU供计算单元使用,后者则融合了向量与矩阵引擎。这种结构化设计提高了数学单元的利用率,进而提升了每瓦性能。

此外,每个Tensix核心均配备1MB SRAM,提供了充足的片上内存资源。

与其他依赖大内存NPU的产品不同,Grayskull能够连接至外部内存以满足更多元化的需求。

尤为关键的是,Grayskull采用了标准DRAM而非昂贵的HBM技术,从而在成本上实现了大幅削减。

这一举措不仅符合吉姆·凯勒所倡导的成本效益原则,也为广大用户带来了更为实惠的AI解决方案。

未来AI芯片市场的竞争格局将更加多元化

在全球数字化与智能化浪潮的推动下,AI芯片作为驱动这一转型的核心力量,正步入前所未有的快速发展期。

根据IMARC的权威研究预测,至2029年,全球人工智能芯片市场将实现显著扩张,市场规模有望达到8960亿美元。

这一显著增长,既受益于人工智能技术的持续飞跃,也得益于消费电子产品领域对AI芯片需求的激增,以及行业内创新活力的持续释放。

同时,得益于政策的有力支持与市场需求的持续扩大,中国AI芯片市场展现出强劲的增长势头,预计至2024年,其市场规模将成功突破千亿元人民币大关。

尤为值得注意的是,随着技术的持续进步,AI芯片的成本正逐步趋于合理化。

在云端训练芯片与边缘AI芯片领域,这一趋势尤为显著。

展望未来,随着新兴企业的不断涌入与技术创新的持续涌现,AI芯片将更加智能化、高效化与经济化,从而对各行各业产生深远影响。

从智能安防到自动驾驶,从工业自动化到医疗健康,AI芯片的应用场景将不断拓展,引领社会迈向更加智能与高效的新纪元。

综上所述,AI芯片市场的未来发展潜力巨大,前景广阔。在技术进步、成本优化与新兴企业崛起的共同驱动下,一个更加多元化、开放化与创新化的AI芯片市场正加速形成。

此外,值得注意的是,有报道指出三星计划推出采用LPDDR内存的AI芯片,而非HBM。

这一决策主要基于成本与市场的综合考量,旨在提供一种更为轻量级的AI芯片解决方案。

除HBM外的AI芯片领域的选项

GDDR:特别是GDDR6与GDDR6X,作为GPU中广泛采用的存储器类型,同样适用于对性能有较高要求的AI应用场景。

其虽在带宽上略逊于HBM,但成本效益更佳,且市场供应更为充足。

因此,对于成本敏感或无需极端带宽需求的AI项目,GDDR系列存储器是理想之选。

DRAM:包括DDR4与DDR5在内,这些存储器类型以其通用性著称,可胜任多种计算任务。

尽管在带宽与延迟方面不及HBM或GDDR,但它们在成本控制与存储容量上展现出显著优势。

因此,对于成本敏感且对延迟及计算性能要求不高的AI应用,如特定推理任务或低功耗设备上的AI部署,DRAM是合适的选择。

LPDDR:专为移动设备与低功耗应用场景设计,LPDDR在功耗优化方面表现出色。

它特别适用于移动设备中的AI应用,以及其他对节能与空间要求严苛的场合。

整合内存解决方案:部分AI芯片采用SoC(系统级芯片)整合式设计,将处理器与存储器集成于单一芯片之上。

此类设计可灵活采用多种内存技术,如静态随机存取存储器(SRAM)或DRAM等,以满足不同需求。

此设计尤其适用于移动设备、嵌入式系统以及对功耗与空间有严格要求的场景。

MCR-DIMM:作为尚处于研发阶段的技术,MCR-DIMM旨在为通用CPU提供高性能内存解决方案。

通过简化大容量双列模组的构造,MCR-DIMM在提升性能的同时,还提供了较大的容量与带宽。这一特性使其成为处理通用计算任务的优选方案。

虽然NVRAM、MRAM及ReRAM等技术在AI芯片中的应用尚属有限,但它们在存储与快速检索模型参数、权重等方面展现出巨大潜力。

结尾:

尽管当前HBM以其卓越的性能在高端AI应用领域占据了一席之地,然而,随着其他内存技术的持续进步,特别是在成本控制、性能提升及功耗降低等方面的显著改进,HBM可能会遭遇新兴内存技术的竞争压力。

然而,从短期视角来看,HBM依然是那些对带宽有极高要求的应用场景的首选解决方案。

从长期发展的角度出发,市场将依据技术的不断演进以及应用需求的动态变化,逐步进行调整与优化。

部分资料参考:半导体行业观察:《干掉HBM?》,友硕:《AI离不开HBM?无需HBM的AI芯片诞生》,PE Link:《被称为「技术奇迹」的HBM会否被取代》

本公众号所刊发稿件及图片来源于网络,仅用于交流使用,如有侵权请联系回复,我们收到信息后会在24小时内处理。



END

追加内容

本文作者可以追加内容哦 !