由于物理存储空间和运行内存的限制,设备端模型不能像云端一样是一个千亿或者万亿级参数的模型。在RockAI内存优化策略下,Yan1.3内存消耗远低于主流的大模型。 算力方面,RockAI创新的非Attention机制以及类脑局部激活机制,让Yan1.3大模型能够在更低的算力设备上部署。 软硬件方面,RockAI完全自研的非Transformer架构,从生态底层的CPU、NPU芯片到上层的音视频外设,正在和上下游一起不断完善工具链优化Yan架构的通用适配能力。 硬件结构方面,对于设备端来说,电池的续航、功耗发热对模型提出了更高要求,Yan架构可覆盖低算力设备,意味着存量市场的硬件可实现算力复用,在设备端更快落地。

追加内容

本文作者可以追加内容哦 !