业界首次！中国联通发布人工智能大模型能力边界化量化基准。

$中国联通(SH600050)$  中国联通借鉴动物智能演化规律，结合大模型实际落地应用实践，在业界首次提出大模型能力边界量化基准，定量分析主流语言大模型能力边界，详细刻画模型参数量、模型能力与应用场景之间的关系，为语言大模型的应用选型提供理论和经验指导，将有助于降低语言大模型应用门槛，促进大模型普惠化。相关研究成果以<What is the Best Model? Application-Driven Evaluation for Large Language Models>为题发表在自然语言处理权威会议NLPCC2024上，相应的评估基准已向业界开源，获得业界广泛认可。

在元景大模型应用落地中，中国联通基于上述评估基准，打造评估工具，量化1B、7B、13B、34B和70B等元景基础大模型的能力边界，并分别将其用于违规短信分类、投诉工单分类、客服助手、渔业知识问答、元景App问答等场景，提炼“模型参数量-模型能力-应用场景”关联关系（如下图），作为大模型使用“说明书”，集成到元景MaaS平台，为开发者提供选模型指引。

接下来，中国联通将继续推进模型边界量化机理研究，扩展和深化“模型参数量-模型能力-应用场景”关联关系，协同业界持续扩展模型能力边界，完善和增强大模型的“记忆-推理-规划-创造-成长-价值观”能力链条，打造自主可控、模态丰富、性能先进、高性价比、安全可信的基础大模型，支撑千行百业场景应用，加速大模型普惠化。