国信证券指出,随着AI应用持续落地,叠加思维链等技术的使用,拉动推理算力需求快速提升,关注国产算力芯片。
1)AI应用逐步落地,拉动推理算力需求增长
从单次推理来看,主要包括分词(Tokenize)、嵌入(Embedding)、位置编码(PositionalEncoding)、Transformer层、Softmax,
推理主要计算量在Transfomer解码层,对于每个token、每个模型参数,需要进行2×1Flops=2次浮点运算,则单词推理算力消耗为模型参数量×(提问Tokens+回答Tokens)×2,
随着模型参数量增长、模型向多模态发展,单次推理算力消耗持续增长。
从推理次数来看,AI应用逐步落地,模型推理次数提升,拉动推理算力需求快速增长。
2)推理算力占比有望提升,定制化芯片或大有可为
根据亿欧智库数据,23年中国AI芯片市场规模约1038.8亿元,预计25年增长至1780亿元,对标23-25年CAGR为30.9%,中国AI芯片市场规模快速增长。
随着AI应用逐步落地以及思维链等技术的运用,推理侧算力需求有望快速提升,根据《2023-2024年中国人工智能计算力发展评估报告(IDC&浪潮)》发布数据,预计24年中国推理算力占比为67.7%,同比+26.4个pct。
3)核心公司
海光信息:公司深耕AI芯片领域,采用GPGPU架构,其DCU芯片在推理领域表现出色。
寒武纪:公司云、边、端三位协同,发布思元370加速卡,推理领域表现出色。
云天励飞:公司DeepEdge系列推理卡已经适配了包括云天天书、通义千问、百川智能、以及Llama2/3等在内的近十个主流大模型。
追加内容
本文作者可以追加内容哦 !