+ 「关注」我们并「点亮星标」
接收神州数码集团最新资讯
2024年12月20日，神州数码旗下神州问学产品在arXiv上发布了一篇名为《Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline》的论文。该研究专注于构建一个适应性强且精准的企业场景大型语言模型（LLM）功能调用能力训练流程，能够更好地驱动AI智能体应用。随着企业对人工智能解决方案的需求日益复杂化和具体化，这一训练流程旨在提升大模型在特定业务环境下的响应能力和操作效率，通过定制化的训练让模型能够更好地理解和执行企业级的任务指令。这篇论文代表了神州问学在推动AI技术更贴近实际应用、为企业提供更具针对性的智能服务方面所作出的努力。
论文作者：曾冠程、丁文韬、徐贝凝、张弛、韩文强、李刚、莫晶晶、邱鹏旭、陶心然、汪涛、胡浩文（通讯）
在当今数字化的企业中，各种API接口组成了业务的核心，如何高效利用这些资产以提高操作效率是企业面临的主要挑战。通用的LLM（大语言模型）虽在一般功能调用任务中表现不俗，但在精细化企业场景下，频发的计算资源瓶颈和功能调用精度问题仍待解决。基于此，神州问学提出需要一种高效的训练流水线，专为企业制定，以满足其特定需求。
图1：企业场景函数调用大型语言模型的整体训练流程
场景数据合成与增强
在生成式AI时代，AI智能体通过调用函数工具（如API、算法、代码流程等）来实现复杂任务的分解与执行，并与企业系统整合以提升运营效率。然而，对于专业场景，开源或商用的大模型由于特定场景的训练数据的局限性，在提供准确、稳定的函数调用指令方面存在明显不足，主要体现在函数解析、选用、参数填写及使用场景识别上的错误。这不仅影响了任务执行的准确性，还导致了资源浪费和响应速度减慢等问题，为了解决这些问题，需要针对专业场景进行特定的数据合成。基于少量的真实种子数据自动化生成高质量、多样化的训练集，从而让模型获得适应特定业务环境的能力。这种方法不仅能克服数据稀缺的问题，还能显著改善模型的专业场景适用性和经济效益。
在数据合成与增强阶段，神州问学使用14个工作流集合生成了一套完整的训练数据。这些数据包括1260个全自动生成的样本和1035个人工标注增强样本，确保了模型能够在实际业务中精准调用对应工具，提取正确的参数。数据的多样性和量度大幅提升了模型的泛化能力，使其能更好地适应不同的业务需求。
图2：14种数字人力资源场景工具的数据量和分布
LoRA微调：资源优化的解决方案
在模型微调阶段，神州问学选择了Qwen2.5-Coder-7B-Instruct模型作为基础模型，并通过LoRA方法在四个24GB VRAM的GPU上进行微调。LoRA（Low-Rank Adaptation）方法不仅减少了参数过多的问题，还显著降低了计算资源的消耗，使得中小型企业也能轻松负担模型训练所需的资源。这种方法在约五小时的训练后，微调模型在评估中表现优异，结构完整性、工具选择准确性和参数输入准确性均超过了GPT-4o。
表1：不同基础模型对训练性能的影响
量化模型性能：精准评估工具选择与调用
在评估模型性能时，神州问学采用了基于AST的方法，对模型生成的函数调用指令进行逐步解析。这一方法不仅有效评估了模型的结构完整性、工具选择准确性和参数输入准确性，还通过混淆矩阵分析，进一步优化了工具功能描述，提高了模型的整体表现。此外，评估方法还具备多方面优势，包括无需实际执行调用指令、高效验证输出结果等，这些都确保了评估过程的全面和高效。
展望未来：多领域的应用潜力
神州问学的这一创新解决方案，不仅在DHR场景中取得了显著成效，还展示了其在其他专业领域的广泛应用潜力。无论是集成边缘设备中的边缘模型支持诊断系统，还是为组织内的超级员工提供动力，这一解决方案都具备广阔的应用前景。未来，通过引入数据反馈模块，系统将能够结合用户与代理应用的交互数据，自动进行数据标注并持续迭代优化模型，进一步增强企业的智能化水平。
神州问学通过其功能调用能力训练流水线，不仅解决了企业智能化转型中的实际难题，还为企业提供了经济高效的模型训练方法。这一创新解决方案的成功应用，必将推动更多企业实现智能化、高效化的业务运作，开启企业智能化发展的新路径。
