自2024年年初至今，三星、苹果、谷歌、vivo等国内外手机厂商纷纷推出自家的AI手机，并将其中的AI功能作为核心卖点面向消费者重点宣传。
事实上，不只是手机，越来越多的AR眼镜、PC、汽车等消费电子终端厂商，也在将AI技术应用到自己的产品和服务中。
火热落地的背后，是端侧模型的快速兴起。
与“力大砖飞”的云端大模型相比，端侧模型虽然参数量更小，却有着低延时、可靠性高、隐私安全性高、低成本的优势，这些恰恰是用户量庞大、交互频繁的智能终端所需要的。
多尺寸、可落地 讯飞星火端侧模型发布
面对汹涌而至的端侧模型浪潮，头部大模型厂商早早推出了自研的端侧大模型。科大讯飞基于多年的核心技术积累和成建制的研发队伍，推出了星火端侧模型矩阵，覆盖0.4B-13B，效果已满足落地商用要求，并已在汽车、AI PC等场景落地，更多场景持续深挖中。
在智能座舱领域，10月24日的科大讯飞全球1024开发者节上，汽车端侧星火大模型首次发布，并且在Q4就将率先在奇瑞、广汽、长城的车型中陆续“上岗”，让每辆汽车上配置一位“双商在线”的智能助手。汽车端侧星火大模型相比云端大模型效果损失≤1%，端侧首次响应时间40ms，端云融合交互时间低至1.3s；基于汽车端侧硬件，在无网环境下也能使用。
AI PC 领域，讯飞推出的7B端侧模型，可开发写作助手、会议助手、PPT助手，本地RAG隐私保护个人知识库等办公场景应用，满足个性化，隐私安全的AI PC助手构建要求。
作为部署在终端设备上运行的大型预训练模型，端侧模型虽然参数量更小，但性能却丝毫不弱。通过知识蒸馏，端侧大模型能够在保持较高性能的同时，大幅减少模型参数量和计算复杂度。这种技术使得复杂的AI模型可在资源受限的端侧设备上高效运行，实现耗、高响应速度和高准确度的AI推理。
与云端大模型相比，端侧模型还有着独特的优势：在实时性上，借助端侧模型，用户大部分数据处理均在本地完成，减少了对云端的依赖，大幅提高响应速度。可靠性方面，即使在网络不稳定或无网络环境下，端侧模型仍然能够提供服务。从隐私安全来看，用户数据无需上传云端，从而降低数据泄露风险。经济性方面，端侧模型的计算均在用户本地的设备上进行，无需使用手机等厂商的云推理服务，大幅降低了用户使用成本。
目前，端侧模型正在加速落地，在手机、PC、耳机、音箱、XR、汽车、具身智能，及众多可穿戴设备等场景不断应用。
端侧模型开发框架 轻松定制开发本地化应用
为了让开发者在各类场景平台快速使用上讯飞星火端侧模型，除基础能力外，讯飞推出了端侧模型应用开发框架-SparkEdge，包含完善的端侧内容安全审核，本地RAG，智能体开发框架等应用开发刚需能力，支持开发者轻松定制本地化应用。
• 主流平台全覆盖，接入方式更灵活
兼容平台方面，讯飞星火端侧模型既兼容主流Windows、Linux、Android等通用平台以及各类国产化操作系统平台，也可适配国内外的CPU、GPU、NPU等不同算力平台。
接入方式上，跨平台SDK供移动端等原生应用开发者快速接入；轻量级Service轻量级Service方案一键星火+开源，云+端模型丝滑切换，满足多应用多模型调度需求。
• 丰富本地的开发配套能力
端侧内容审核：提供纯本地轻量级审核方案，保障模型输入输出内容安全本地智能体框架：针对本地邮件信息总结，写作，系统指令控制和跨应用协同等场景，提供完整智能体和Tools开发框架，满足Prompt型，任务规划型等各类本地智能体快速构建本地RAG方案：针对本地设备说明书，个人敏感文档等知识管理问答场景，提供轻量级RAG方案，满足隐私安全的个人知识库快速构建端微调：针对端侧模型微调量化需求，提供完整平台化链路，”云训端推”，支持用户快速完成个性化微调定制目前，讯飞星火端侧模型已在讯飞开放平台面向开发者开放调用。同时，面向机器人、AI PC、键鼠等智能硬件场景，讯飞还提供了端云协同大模型应用开发框架SparkChain，让智能硬件开发者，无需关注大模型应用开发过程中，模型选择，开发框架，能力组合，硬件适配等各类问题，专注于智能硬件产品创新，星火SparkChain一套全搞定。
下一个赛点 共同推动AI落地提速
相关研究报告显示，2023年中国端侧模型市场规模达8亿元，持乐观态度估计，预计2024年中国端侧模型市场将达到21亿元。
面对广阔的市场，想要推进端侧大模型的部署与应用，让AI真正做到无处不在，单一企业的力量难以覆盖全部产业链环节，需要构建开放合作的生态系统，探索更多的应用场景。
科大讯飞作为人工智能领域的领军者，自2017年起承建国家新一代人工智能开放创新平台，已开放767项AI能力，汇聚超774.9万开发者团队，累覆盖终端设备数超41.2亿，链接超千万生态伙伴。“端侧AI元年”已然到来，讯飞将与生态伙伴紧密合作，推动端侧模型的普及落地，为用户提供性能更优异、体验更好的智能终端设备。
*文中数据来自实践测试应用
本文作者可以追加内容哦 !
