存内计算赋能端侧AI

　　炬芯科技(688049)
　　投资要点
　　存内计算引领AI新方向。弱化或消除“存储墙”及“功耗墙”问题的方法是采用存内计算Computing-in-Memory（CIM）结构。其核心思想是将部分或全部的计算移到存储中，让存储单元具有计算能力，数据不需要单独的运算部件来完成计算，而是在存储单元中完成存储和计算，消除了数据访存延迟和功耗，是一种真正意义上的存储与计算融合。同时，由于计算完全依赖于存储，因此可以开发更细粒度的并行性，大幅提升性能尤其是能效比。要在存储上做计算，存储介质的选择是成本关键。单芯片为王，炬芯的目标是将低功耗端侧AI的计算能力和其他SoC的模块集成于一颗芯片中，于是使用特殊工艺的DDRRAM和Flash无法在考虑范围内。而采用标准SoC适用的CMOS工艺中的SRAM和新兴NVRAM（如RRAM或者MRAM）进入视野。SRAM工艺非常成熟，且可以伴随着先进工艺升级同步升级，读写速度快、能效比高，并可以无限多次读写。唯一缺陷是存储密度较低，但对于绝大多数端侧AI的算力需求，该缺陷不会成为阻力。短期内，SRAM是在低功耗端侧AI设备上打造高能效比的最佳技术路径，且可以快速落地，没有量产风险。
　　新存内计算产品打开业界新增量。公司创新性的采用了基于模数混合设计的电路实现CIM，在SRAM介质内用客制化的模拟设计实现数字计算电路，既实现了真正的CIM，又保证了计算精度和量产一致性。炬芯科技选择基于模数混合电路的SRAM存内计算（Mixed-ModeSRAMbasedCIM，简称MMSCIM）的技术路径，具有以下几点显著的优势：
　　第一，比纯数字实现的能效比更高，并几乎等同于纯模拟实现的能效比；
　　第二，无需ADC/DAC,数字实现的精度，高可靠性和量产一致性，这是数字化天生的优势；
　　第三，易于工艺升级和不同FAB间的设计转换；
　　第四，容易提升速度，进行性能/功耗/面积(PPA)的优化；
　　第五，自适应稀疏矩阵，进一步节省功耗，提升能效比。
　　而对于高质量的音频处理和语音应用，MMSCIM是最佳的未来低功耗端侧AI音频技术架构。由于减少了在内存和存储之间数据传输的需求，它可以大幅降低延迟，显著提升性能，有效减少功耗和热量产生。对于要在追求极致能效比电池供电IoT设备上赋能AI，在每毫瓦下打造尽可能多的AI算力，公司采用的MMSCIM技术是真正实现端侧AI落地的最佳解决方案。
　　存内计算产品路线开创新领域。1、炬芯第一代(GEN1)MMSCIM已经在2024年落地，GEN1MMSCIM采用22纳米制程，每一个核可以提供100GOPS的算力，能效比高达6.4TOPS/W@INT8；2、到2025年，炬芯科技将推出第二代（GEN2）MMSCIM，GEN2MMSCIM采用22纳米制程，性能将相较第一代提高三倍，每个核提供300GOPS算力，直接支持Transformer模型，能效比也提高到7.8TOPS/W@INT8；3、到2026年，推出新制程12纳米的第三代（GEN3）MMSCIM，GEN3MMSCIM每个核达到1TOPS的高算力，支持Transformer，能效比进一步提升至15.6TOPS/W@INT8。以上每一代MMSCIM技术均可以通过多核叠加的方式来提升总算力，比如MMSCIMGEN2单核是300GOPS算力，可以通过四个核组合来达到高于1TOPS的算力。