利用结构化知识增强大语言模型的推理能力

一、简介

知识图谱（Knowledge Graphs, KGs）和表格等结构化数据在表示和分析现实世界中的复杂关系方面发挥着重要作用。这些结构化数据能够以一种清晰且可操作的方式存储和查询大量事实信息。与此同时，大语言模型（LLMs）在自然语言处理（NLP）领域取得了巨大成功，展现出卓越的语言理解和生成能力。近年来，将LLMs与结构化数据相结合的研究逐渐兴起，并在多个领域取得了显著成果。这种结合不仅充分利用了LLMs的强大语言能力，还借助结构化数据的明确语义和关系结构，为复杂任务的解决提供了新的思路和方法。下面将介绍两篇关于结构化数据增强大语言模型的论文。

二、Plan-on-Graph: Self-Correcting Adaptive Planning of Large Language Model on Knowledge Graphs（NeurIPS 2024）

大语言模型（LLMs）在复杂任务中展现出了卓越的推理能力，但仍然存在知识过时、幻觉和决策过程不透明等问题。知识图谱（KGs）作为一种大规模结构化的知识库，能够提供明确且可编辑的知识，有望弥补LLMs的不足。然而，现有的知识图谱增强型LLMs（KG-augmented LLMs）在探索知识图谱时存在局限性，例如需要手动预定义探索路径的广度，并且无法根据问题语义自适应地探索推理路径，也无法自我纠正错误的推理路径，这导致了效率和效果的瓶颈。为了解决上述局限性，这篇论文提出了一个名为Plan-on-Graph（PoG）的新型自适应规划范式，用于知识图谱增强型LLMs。

2.1 Plan-on-Graph

PoG的核心思想是将问题分解为多个子目标，并通过重复探索推理路径、更新记忆以及反思是否需要自我纠正错误的推理路径，直到找到答案。PoG设计了三个重要机制：引导（Guidance）、记忆（Memory）和反思（Reflection），以确保图推理的自适应广度和自我纠正能力。

任务分解（Task Decomposition）： PoG通过LLM对问题进行语义分析，将问题分解为多个包含条件的子目标。这些子目标作为探索路径的引导，帮助识别与每个条件相关的路径，并允许灵活的探索广度。

路径探索（Path Exploration）： PoG从问题中提到的主题实体开始，逐步探索与问题最相关的推理路径。在每次迭代中，PoG会根据问题和子目标选择最相关的实体和关系来扩展推理路径。这一过程分为两步：

1. 关系探索（Relation Exploration）：检索与当前尾实体相关的所有关系，并选择与问题和子目标最相关的几个关系。

2. 实体探索（Entity Exploration）：基于选择的关系，检索邻接实体，并选择与问题最相关的实体来扩展推理路径。

记忆更新（Memory Updating）：记忆机制记录了推理过程中的历史信息，包括检索到的子图、推理路径和子目标的状态。这些信息为反思阶段提供了支持，帮助LLM在反思时决定是否需要自我纠正推理路径:

1. 子图：包括从KG中检索到的所有关系和实体。可以在后续反思中用于确定哪个实体进行回溯以进行自我纠正。
2. 推理路径：确保LLM能够理解实体之间的关系以更好地进行推理，并在反思阶段允许路径纠正。
3. 子目标状态：包含与子目标相关的当前已知信息（问题的语义信息、子目标、历史子目标状态和推理路径，以及LLM自身的知识），帮助LLM记住每个条件的已知信息，并在反思阶段确定是否纠正探索方向。

评估与反思（Evaluation and Reflection）： 在每次路径探索和记忆更新后，PoG会评估当前获取的信息是否足以回答问题。如果信息不足，PoG会进入反思阶段，利用LLM根据当前的子目标状态、推理路径和计划检索的实体来决定是否需要自我纠正推理路径。如果需要自我纠正，PoG会选择回溯到某些实体，并重新探索这些实体的路径。路径探索是一个迭代过程，PoG会重复探索、更新记忆和评估步骤，直到找到满意的答案或达到预设的探索深度限制。

2.2 实验结果

论文比较了PoG与SOTA基线以证明其在KG增强LLM中的有效性。以下两个表格展示了在CWQ、WebQSP和GrailQA数据集上的实验结果。总体而言，PoG在所有三个数据集上都取得了最佳性能。与所有提示KG增强LLM基线相比，PoG显示出优越的性能优势。PoG中特别设计的自我纠正和自适应规划机制，可以有效提高性能和效率。

尽管PoG是一种无需训练的提示方法，但其性能与微调KG增强LLM基线高度竞争。当使用GPT-4时，PoG在所有微调KG增强LLM基线上都取得了更好的性能。即使使用GPT-3.5，PoG在GrailQA上的结果也超过了所有微调KG增强LLM方法。这表明PoG中设计的引导、记忆和反思机制使PoG的效果超过了大多数微调方法。

与不利用外部KGs的LLM-only基线相比，PoG的改进是显而易见的。此外，所有KG增强LLM方法始终优于LLM-only方法，表明将KGs纳入以增强LLM性能的价值。

2.3 案例研究

下图展示了CWQ数据集测试结果中的一个典型案例，比较了PoG、ToG和CoT在回答问题“Who is in control of the place where the movie “The Naked and the Dead” takes place?”时的结果。

三、Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments（ACL 2024）

大语言模型（LLMs）在自然语言处理领域表现出色，但在处理结构化环境（如知识图谱和表格）中的复杂推理任务时，仍面临挑战。这些任务通常需要多跳推理，即将自然语言表达与环境中的实例匹配。现有方法主要分为两类：一类是基于LLM逐步构建推理路径的方法，虽然能够保证推理的准确性，但效率较低，需要多次与环境交互；另一类是通过微调（fine-tuning）将环境注入模型参数的方法，虽然高效，但无法保证推理路径与结构化环境的一致性，并且依赖大量标注数据。因此，需要一种既能高效推理又能保证准确性的新方法。这篇论文提出了一个名为Reasoning-PathEditing（Readi）的框架，旨在使LLM能够高效且准确地在结构化环境中进行推理。

3.1 Reasoning-PathEditing

Readi的核心思想是让LLM首先生成一个推理路径，然后在结构化环境中实例化该路径。如果实例化过程中出现问题（如路径无法完全匹配环境中的实例），则触发路径编辑模块，对路径进行必要的修正。这种方法减少了与环境的交互次数，提高了推理效率，同时通过动态反馈修正路径，保证了推理的准确性。

推理路径生成（Reasoning Path Generation）: Readi利用LLM的规划能力，根据问题和主题实体生成初始推理路径。这些路径由多个约束组成，每个约束从一个主题实体出发，指向可能的答案。例如，对于问题“Which college did daughter of Obama go to?”，推理路径可能为“[Obama] father_of→college”。

推理路径实例化（Reasoning Path Instantiation）: 生成的推理路径需要在结构化环境中实例化，即将路径中的自然语言关系与环境中的具体关系匹配，并检查路径是否能够成功连接到目标实体。这一过程涉及两个步骤：关系绑定（relation-binding）和路径连接（path-connecting）。关系绑定是将自然语言关系与环境中的关系模式匹配，路径连接则是检查从起始实体出发，是否能够通过绑定的关系找到目标实体。

推理路径编辑（Reasoning Path Editing）: 如果路径实例化过程中出现问题（如关系无法匹配或路径中断），则触发路径编辑模块。编辑模块会收集错误信息，包括错误位置、当前关系和候选关系等，并将这些信息反馈给LLM，让其根据反馈修正路径。

问答推理（QA Reasoning）: 在成功实例化推理路径后，Readi通过合并所有路径的实例，生成最终答案。这一过程利用LLM的推理能力，基于实例化的知识图谱三元组（实体，关系，实体）生成答案。

3.2 实验结果

Readi在三个知识图谱问答（KGQA）数据集（WebQSP、CWQ、MQA）和两个表格问答（TableQA）数据集（WTQ、WikiSQL）上进行了评估。实验结果表明，Readi在所有数据集上均显著优于现有的基于LLM的方法，与大多数微调方法相当，甚至在某些数据集上取得了新的最佳结果。例如，在WebQSP上，Readi-GPT4达到了78.7%的Hit@1准确率，比之前的最佳方法高出9.1%。此外，Readi在平均LLM调用次数上也显著优于逐步交互范式，平均每次编辑仅需1.55次LLM调用，显著减少了与环境的交互次数。

3.3 案例研究

下图展示了Readi在回答KGQA的问题时的一个运行示例。

四、总结

本文介绍了两篇LLMs在结构化环境中进行推理的问题。它们都试图解决LLMs在处理复杂任务时面临的挑战，尤其是在与知识图谱（KGs）和表格等结构化数据交互时的局限性，展现了结构化知识，尤其是知识图谱在增强LLMs的复杂推理能力方面的作用。