$青云科技-U(SH688316)$  

具身智能背后的 AI Infra，让研发管理更智能、更高效

从“卖铲子”到“造金矿”：AI Infra成为大模型应用背后的最大赢家？

业内有一句广为流传的谚语：“当大家都去挖金矿时，卖铲子的最赚钱。”

在19世纪中叶的淘金热中，挖金矿的死了一波又一波，反而哪些卖铲子、卖牛仔裤的人赚得盆满钵满。正如卖铲人在淘金热中成为最大赢家，在当今AIGC时代，AI Infra也扮演着类似的角色。

在大模型这座金矿刚刚开始挖掘的当下，挖金子的AI还没有盈利，卖铲子的英伟达却赚翻了，市值一度冲破3万亿美元，超过苹果成为仅次于微软的全球第二大公司。

AI Infra是指在大模型生态系统中，链接算力和应用的中间层基础设施，包括硬件、软件、工具链和优化方法等，是一个整体解决方案。

如果用云计算三层构架做类比，AI Infra与PaaS层级相似，为大模型应用开发提供一站式模型算力部署和开发工具平台。算力、算法、数据可以看作IaaS层，各种开源和闭源模型则是SaaS在大模型时代的新演变，即MaaS。

大模型应用落地的进程在不断加速，AI Infra的价值潜力被进一步释放。中金数据预测，目前，AI Infra产业处于高速增长的发展早期，未来3-5年内各细分赛道空间或保持30%+的高速增长。

对AI Infra的看好也在资本层面有所反映。由袁进辉创建的主攻推理框架的初创公司硅基流动，近日完成天使轮+融资，融资金额近亿元人民币。半年时间内硅基流动已经经历两轮融资，今年1月刚刚完成5000万元的天使轮融资。

与袁进辉创业方向相同，前阿里副总裁贾扬清在去年成立Lepton AI，据公开消息披露，现已完成天使轮融资由Fusion Fund基金、CRV风投两家机构投资。

随着大模型进入大规模应用落地时期，提供大模型训练、部署和应用时所需的基础设施成为关键一环，AI Infra成为大模型应用爆发背后“掘金卖铲”的最佳生意。

一、AI Infra：大模型应用背后千亿市场的“掘金卖铲”生意

相比模型价值，卷AI应用成为行业共识。李彦宏坚信，基础模型之上将诞生数以百万计的应用，它们对于现有业态的改造作用，比从0到1的颠覆作用更大。

如今AI应用的供给在不断增加，IDC在年初时预测，2024年全球将涌现出超过5亿个新应用，这相当于过去40年间出现的应用数总和。

从最近的市场变化我们也能感知一二。最近视频生成类模型产品扎堆出现，快手的可灵、字节跳动的即梦、商汤的Vimi集体亮相，此外还有AI搜索产品、AI陪伴类产品等层出不穷。

大模型应用爆发趋势已然确定，根据InfoQ研究中心数据，2030年AGI应用市场规模将达4543.6亿元，模型应用层的巨大机会已经吸引了几乎各行各业的参与。

而在大模型应用之下，AI Infra成为其爆发的隐藏推手。

从开发流程角度看，一款大模型应用的开发，离不开数据准备、模型训练与调优、模型部署与应用以及后续的监控与维护。而AI Infra就是为AI应用开发者提供算力与工具需求。

如果把开发AI应用看成建房子，那么AI Infra就是提供水泥钢筋的施工队。AI Infra施工队的价值点在于它是一个集成平台，将下层的算力芯片层与上层的AI应用层打通，让开发者实现一键调用，并且实现降低算力成本、提升开发效率并且保持模型优秀性能的效果。

让应用更简单，让AI落地更便捷，是AI Infra的使命。可以说，AI应用的市场有多大，AI Infra的机会就有多多。

大模型时代，AI Infra等对于模型训练和推理加速至关重要。随着大模型走入大规模应用落地时期，模型训练和推理效率、性能、成本效益等方面的优化变得尤为重要。此时，AI Infra则在其中发挥了关键作用。

实际上，AI Infra的价值主要集中在推理层，相比训练，推理的市场容量更大。

大模型训练说到底是巨头的游戏，且无论是谷歌、微软还是百度、阿里他们都有自己完整的AI基础层，只做AI Infra的厂商在这方面机会不大。

而推理则不同，几乎所有的大模型公司、应用公司以及用大模型进行改造的各行业都需要推理，训练是模型生产的阶段性产物，而推理则在模型使用时是持续性的。

具体到数据处理量上，训练一个大型模型所需处理的token数量虽然庞大，通常达到几万亿到十万亿级别，但这仅是模型诞生前的准备阶段。而进入推理阶段后，模型的实际应用对数据处理的需求急剧上升，以OpenAI为例，其单日生成的token量就可达一万亿至几万亿之巨，这意味着在极短的时间内，如一周内，所处理的数据量就可能远超训练阶段所需。

根据市场研究公司MarketsandMarkets的数据，全球大模型训练和推理市场规模预计将从2023年的125亿美元增长到2028年的563亿美元，AI Infra的“掘金卖铲”生意潜力巨大。

二、大模型部署成本降低10000倍

“如何把大模型部署成本降低10000倍？部署成本=芯片+软件+模型+云“，袁进辉在2024稀土开发