1 月,刘凡平带着国内首个非 Attention 机制的通用自然语言大模型——Y

刘凡平带着国内首个非 Attention 机制的通用自然语言大模型——Yan1.0 模型公开露面。

当时,1.0 版通过对 Attention 的替换,将计算复杂度降为线性,大幅降低了对算力的需求,用百亿级参数达成千亿参数大模型的性能效果——记忆能力提升 3 倍、训练效率提升 7 倍的同时,实现推理量的 5 倍提升。

更令人欣喜的是现场,Yan 1.0 模型在个人电脑端的运行推理展示,证实了其可以“原生无损”在主流消费级 CPU 等端侧设备上运行的实操性。

要知道,原生无损对应的反面就是有损压缩,后者是目前大模型部署到设备端的主流方式。