普元：浅析大模型和知识图谱融合下的金融知识库体系应用

近日，普元受邀参与《金融电子化》2024年6月刊“技术应用”专题，与来自工商银行、招商银行、中国银联、邮储银行、华夏银行、兴业银行等众多金融机构的科技专家，共同分享“拥抱AI大模型机遇 加速数智化升级”的新探索与新实践。

金融电子化2024年6月刊金融电子化

由中国人民银行主管、中国金融学会金融科技专业委员会指导的金融信息科技类主导期刊。“技术应用”是其中的重要栏目，主要围绕业内共同关注的问题反映科技管理和信息化建设的发展动态。

《金融电子化》刊发原文：

浅析大模型和知识图谱融合下的金融知识库体系应用

文‖普元信息技术股份有限公司 李方

随着数字化浪潮的推进，银行业正面临前所未有的变革。为进一步落实中央金融工作会议、中央经济工作会议精神，植根科技金融、数字金融等重点领域，面对金融行业数据海量化、场景多样化的现状，我们充分挖掘人工智能在业务创新、应用拓展、技术升级等多维度的价值，推动数据要素价值释放，以期实现业务高质量发展。

在当前信息爆炸的时代，知识库体系不是通过简单的数据的堆砌，而是需要智能化、高效率和知识管理和运用。而知识图谱技术能够有效的提升知识库的智能化程度，但也有一些局限性，比如从知识图谱主要处理一些结构化的数据，面临数据来源有限、人力和时间成本较高等问题，同时应用的广度和深度会受到较大的限制；而大模型的出现能够很好地解决知识图谱的这些问题，处理非结构化数据，并可以通过问答的方式提升知识应用的广度和深度。 

大模型和知识图谱融合的方法

知识库管理体系运用知识图谱和大模型，通过与数据层和模型层的紧密协作，确保数据处理的全面性、高效性和精准性，极大地提升了数据的利用效率和理解深度。

知识图谱（见图1）作为一种强大的数据结构，通过构建“主体—关系—实体”的三元组，加强了系统对数据实体间联系的可视化和理解。这种结构不仅使得数据之间的关系更加清晰，也为信息检索提供了精确的语义基础。提示工程则进一步扩展了这一能力，它通过接收用户输入的信息，并对其进行扩写，使得系统能够更全面地理解用户的意图和需求。

在这一基础上，知识库平台将扩写后的信息转化为精确的检索命令，指导人工智能模型在不同类型的数据库中进行高效的信息检索。这一过程不仅涉及对数据的深度语义分析，确保检索结果的相关性和准确性，还包括与人工智能模型进行多轮问答，进一步提炼和验证信息的准确性和相关性。基于多轮交互机制，使得平台能够细化和明确用户的需求，并对检索结果进行验证和优化。

在多轮问答结束后，平台综合所有交互历史信息，并将这些信息送入大模型进行推理。这一推理过程基于历史交互信息和当前的查询意图，生成最符合用户需求的查询结果。通过这一创新性的信息处理流程，平台能够生成准确的结果文本，并将其返回给用户，从而完成整个信息处理的过程。

在完成知识检索的过程中，传统的信息检索算法虽然能够从海量数据中检索出相关信息，但在准确性和相关性方面仍有待提升。我们经多轮验证发现，通过检索增强生成（RAG）技术结合精排机制（Rerank）可以有效解决大模型产生的幻觉，增强检索的准确性和可靠性。

RAG算法通过先检索与查询相关的文档或信息片段，然后将这些信息作为上下文输入到生成模型中，辅助生成模型产生更加准确和丰富的输出。这种方法在问答系统、内容推荐、自动摘要等任务中表现出色，能够在生成答案之前，先从已有的数据中找到支持点，从而减少生成过程中的不确定性和错误。这一创新性方法不仅提高了信息检索的准确性，也增强了生成内容的相关性和丰富性。

Rerank算法则进一步优化检索结果的排序过程。在初始检索阶段，可能会返回大量的相关文档，Rerank算法对这些文档进行再排序，确保最相关、最有价值的信息排在最前面。这一过程通过一个排序模型来实现，排序模型依据文档与查询的相关性、文档的质量、用户的历史偏好等多种因素进行评分和排序。这种算法的应用显著提升了信息检索的效率和用户体验，尤其是在对信息准确性和可靠性要求极高的金融领域。

结合RAG和Rerank算法的落地及优化，我们可以高效匹配与要求最相关的金融报告、市场分析、法规政策等信息，为决策过程提供快速、科学、强有力的支持。此外，结合算法和知识向量库，平台增强了员工对金融术语和概念的理解，提升了处理特定领域查询的精确性和专业性。 

融合方案支撑多业务场景

大模型和知识图谱融合的知识库体系能够覆盖场景含需求检索、各类财报识别、授信调查报告生成、制度学习、智能问答、文档审核、需求检索、话术补充、理财经理助理、多模态任务支持等，涉及银行的各个部门和业务条线（见图2）。

以需求检索机器人为例：客户已经积累了大量的需求文档，需求资产库中存在内容重复、难以全面检索的问题。检索过程需要依赖于知识图谱的逻辑结构，以便理解和处理复杂的关联信息。要构建一个全面的知识图谱是一项非常具有挑战性的工作，因为这不仅需要投入大量的人力和物力，还需要花费大量的时间。即便如此，仍然存在遗漏关键信息的风险。此外，如果知识图谱过于简化，它可能无法满足深度问答的需求。因此，需要在确保知识图谱全面性的同时，也要避免过度简化，以确保它能够有效地支持复杂的信息检索和分析任务。

为了解决这一问题，我们提出了一种融合知识图谱与大模型的方法：通过提取文档中的关键信息来构建一个小型的知识图谱，以弥补向量检索的不足，同时保留文档问答系统以确保信息的完整性和准确性。这种方法充分利用了知识图谱的优势，并对其存在的不足进行了有效的补充，提供了一个既高效又准确的知识库问答工具。

需求检索应用的构建包括以下步骤：

一是摘要生成，对输入文档自动提炼核心内容，形成简洁明了的摘要。

二是关键实体提取（如机构、需求、功能、系统等），为后续检索提供精确的语义锚点。

三是检索策略，利用Faiss进行初步召回，结合Reranking算法优化排序，并通过比较查询与文档实体间的相似度来过滤无效文档，有效减少了噪声数据的影响。

四是文档问答模块，结合知识图谱（KG）与自然语言处理技术，兼顾问答的精准性和对非结构化信息的全面捕捉。

这种方法既能利用KGQA的精准匹配能力，又能防止遗漏文档中重要但难以结构化的信息，还能够过滤掉无效文档以提升响应速度。

融合后业务效果

我们使用BLEU、ROUGE、METEOR三个指标评估文本相似度。

BLEU（Bilingual Evaluation Understudy）是一种用于机器翻译质量评估的指标，它旨在度量机器生成的翻译结果与人类专家给出的参考翻译之间的相似程度。

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是用于自然语言生成任务的评估指标。它通过计算生成的句子与参考答案之间的n-gram重叠度来衡量生成结果的质量。ROUGE与BLEU的计算方法类似，但是ROUGE更注重召回率，因此它更适合于评估生成的文本质量。

METEOR（Metric for Evaluation of Translation with Explicit ORdering）是用于自然语言生成任务的评估指标。它通过计算生成的句子与参考答案之间的词汇、语法和语义等多个方面的相似度来衡量生成结果的质量。表中是几项算法任务的评测结果。

大模型和知识图谱融合的智能化知识库体系将知识库的智能化提升到一个新的高度，能够显著提升知识检索的精度。但是在实际落地过程中要从大模型的选型、向量数据库、向量模型的选型、模型部署算力要求、模型综合能力评估、有效训练数据准备等方面综合考虑，提出适合的解决方案，逐步适配更多的知识应用场景。

(普元信息)