端侧AI是AI发展下一阶段,大模型轻量化等技术推进端侧AI发展。端侧AI具备安全性、独立性、低时延、高可靠性等特点,能很好地完成各种AI推理任务。目前,多个大模型均已推出“小型化”和“场景化”版本,其轻量化提供了端侧运行基础。此外,对于数据精度例如INT4、INT8的支持优化、ExecuTorch等AI框架的开源,为端侧AI进展铺平道路。

端侧AI核心在于手机和PC,AI Phone和AI PC将开启新时代。从今年2月份举行的世界移动通信大会,高通展示了其手机端离线运行大模型,到5月份微软开发者大会高通展示其PC运行AI大模型,再到近期英特尔、联想等发布AI PC加速计划、发布首款AI PC等,可以看出,国内外厂商持续发力AI Phone和AI PC,端侧AI将走入新的时代。

AI PC核心升级在于芯片。AI PC不同于传统PC的主要之处在于其SoC芯片中要有AI模块,通过AI芯片中的NPU等模块为硬件终端提供算力支撑,从而运行端侧AI大模型。过去PC芯片主要是以Intel为代表的x86架构芯片,AIPC的提出要求了SOC芯片有AI算力,在端侧AI推理能力方面,过去手机上就搭载了NPU,高通经验积累深厚,Intel的笔记本芯片则是CPU+GPU。生态上,Windows也开始全力支持ARM体系,自去年开始了多轮支持Arm架构芯片的操作系统更新,高通大概率会在PC市场上拿到部分份额。除芯片外,DRAM、计算模组等有望迎来新的升级与市场机遇。

我们看好端侧AI产业进展,尤其是AI Phone和AI PC领域,其已有相关产品落地,将传统PC、Phone结合上AI能力有望带动整个PC、Phone产业链复苏;通过将大模型赋能终端硬件,AI应用浪潮将有望开启。

$中欧智能制造混合A(OTCFUND|015143)$$中欧智能制造混合C(OTCFUND|015144)$$中欧医疗健康混合A(OTCFUND|003095)$#算力租赁或进入涨价周期#

追加内容

本文作者可以追加内容哦 !