点击“AladdinEdu你的AI学习实践工作坊”注册即送-H卡级别算力沉浸式云原生集成开发环境80G大显存多卡并行按量弹性计费教育用户更享超低价。一、引言智能问答系统正从简单的单跳事实检索迈向复杂的多跳推理。考虑这样一个问题“《哈利·波特与魔法石》的导演的出生地是哪里”要回答它系统不能仅凭单一文档或单句事实而需串联两条信息第一识别出该电影的导演是克里斯·哥伦布第二查找到克里斯·哥伦布的出生地为宾夕法尼亚州斯潘格勒。这一跨越两跳的推理过程即为多跳问答的核心。多跳问答在学术研究和实际应用中均具有重大价值。在开放域问答中用户的问题往往无法通过单一维基百科段落直接回答需要综合多个来源的证据。在医疗诊断、法律分析、金融风控等专业领域决策更需关联多份文档中的事实形成完整的证据链。因此赋予机器多跳推理能力是构建真正智能、可信的问答系统的关键一步。然而多跳问答面临三大核心挑战证据碎片化支撑答案的信息分散在不同文档、不同段落甚至不同句子中检索器必须同时召回所有相关片段。组合推理难度推理过程可能涉及桥接实体、比较、数值计算、逻辑否定等多种操作模型需具备灵活的推理组合能力。干扰项与虚假路径检索语料中常包含大量与问题表面相关但无法推导出正确答案的文档如何过滤噪声、识别有效推理链至关重要。为应对这些挑战学术界和工业界探索出三条主要的技术路径推理路径建模显式或隐式地构建从问题到答案的证据链通过路径排序或路径生成方式定位关键信息。图神经网络将文档、句子、实体组织为图结构利用图卷积、图注意力等机制在多跳节点间传播信息聚合证据。链式推理借助大语言模型的逐步思考能力将复杂问题分解为子问题序列通过自问自答或思维链逐步逼近最终答案。本文将深入剖析这三种技术范式。第二节介绍多跳问答的任务定义、数据集与评测指标第三、四、五节分别详述推理路径建模、图神经网络与链式推理的方法原理与代表性工作第六节进行对比分析与未来展望。二、多跳问答基础2.1 任务形式化定义给定一个问题q qq以及一个文档集合D { d 1 , d 2 , … , d N } \mathcal{D} \{d_1, d_2, \dots, d_N\}D{d1​,d2​,…,dN​}或知识图谱G \mathcal{G}G多跳问答的目标是找到答案a aa使得存在一个推理路径p ( e 1 , r 1 , e 2 , r 2 , … , e k ) p (e_1, r_1, e_2, r_2, \dots, e_k)p(e1​,r1​,e2​,r2​,…,ek​)能够从问题中的实体出发通过k − 1 k-1k−1跳关联到答案实体。根据知识来源多跳问答可分为文本多跳问答基于非结构化文档集合需同时进行信息检索和阅读理解。知识图谱多跳问答基于结构化知识库需进行复杂逻辑查询或路径搜索。混合多跳问答结合文本和知识库。根据推理类型常见模式包括桥接推理通过中间实体连接两个事实如“电影A的导演B的出生地”。比较推理比较两个实体的属性如“A和B哪个更高”。时序推理结合时间顺序的多步推导。计数与聚合对多个实体进行计数或聚合运算。2.2 主流评测数据集数据集规模跳数特点HotpotQA11.3万问题2跳基于维基百科提供句子级证据标注需多文档推理2WikiMultihopQA19.2万问题2-4跳基于维基百科人工构造复杂多跳问题含桥接、比较MuSiQue2.5万问题2-4跳精心设计严格控制干扰项可分离评估推理能力StrategyQA2.7万问题隐式多跳需常识策略推理答案二值是/否ComplexWebQuestions3.5万问题多跳半自动生成涵盖多种复杂操作MetaQA40万问题1-3跳基于电影知识图谱规模大适合KG多跳2.3 评价指标精确匹配Exact Match, EM和F1值与标准答案进行字符串匹配是文本多跳问答的主要指标。Hits1在知识图谱多跳问答中预测的答案实体排名第一的比例。证据F1 / 支持事实F1HotpotQA引入的伴随指标评估模型是否正确识别推理路径上的支持句。三、推理路径建模推理路径是多跳问答的骨架。显式路径建模方法试图找出从问题实体到答案实体的明确证据链以增强可解释性和推理精度。3.1 基于检索-阅读的迭代式路径构建早期的多跳问答沿用单跳问答的“检索-阅读”框架但扩展为迭代模式。典型流程如下首跳检索根据问题q qq从文档库中检索Top-K相关文档阅读器从中抽取第一跳答案或中间实体。查询重构将第一跳的抽取结果与原始问题结合生成新的查询如“克里斯·哥伦布 出生地”。次跳检索与回答再次检索并阅读得到最终答案。DrKITDhingra et al., 2018是这一思路的早期代表它构建了实体间的文本路径使用RNN对路径进行编码和打分。GoldEn RetrieverQi et al., 2019则利用强化学习训练检索器使其能够根据当前状态决定下一步检索内容。迭代式方法的优点是可解释性强但错误会在跳间累积且串行检索效率较低。3.2 潜在推理路径的隐式建模与显式构建路径不同另一类方法将推理路径隐式编码在神经网络的表示中。PathNetKundu et al., 2019将每个候选推理路径表示为一个三元组序列使用LSTM编码路径并计算路径与问题的匹配得分。训练时通过正负路径对比学习使模型学会识别有效推理链。SAESelect, Answer, and ExplainTu et al., 2019提出了一个更通用的框架模型首先选择支持句然后基于所选句子生成答案同时输出解释。这种多任务学习使得路径选择与答案生成相互促进。3.3 生成式路径检索近期T5、BART等生成式模型被用于直接生成推理路径。R2-D2Fajcik et al., 2021将多跳问答视为Seq2Seq任务输入问题模型直接生成包含中间实体和关系的推理链再解码出最终答案。生成路径的方式绕过了对检索器精度的依赖但可能生成不存在的幻觉路径。Chain-of-Retrieval让模型先生成检索查询序列然后并行或串行检索是当前更稳健的做法。四、图神经网络在多跳问答中的应用图神经网络天然适合处理实体、句子、文档之间的关联关系成为多跳问答中聚合分散证据的强大工具。4.1 图构建方式在多跳问答中常用以下几种图构建策略实体图节点为实体提及或标准化实体边为句子内或跨句子的共现关系、指代关系、语义关系。例如如果两个实体出现在同一句子中则建立一条边。句子-实体异构图包含句子节点和实体节点。句子与实体之间有“提及”边句子之间基于相似度或指代建立边。DFGNQiu et al., 2019即采用这种结构。文档级图节点为段落或文档边为超链接或文本相似度。适用于跨文档多跳推理。4.2 经典图神经网络多跳问答模型DFGNDynamically Fused Graph Network是HotpotQA上的标杆模型之一。其架构包含编码层使用BERT对问题、文档句子进行编码。图构建构建由实体节点和句子节点组成的异构图。实体节点通过NER识别句子节点即支持句候选。图推理应用多头图注意力网络进行多轮消息传递。通过门控机制动态融合来自不同跳的信息。输出层基于更新后的节点表示预测支持句证据和答案跨度。DFGN首次将图神经网络用于HotpotQA在答案F1和证据F1上均取得当时最优。HGNHierarchical Graph NetworkFang et al., 2020进一步引入层次图结构在段落级、句子级、实体级分别构建子图并通过跨层连接实现层次化推理更好地捕捉不同粒度的证据关联。SAFESun et al., 2021关注图神经网络中的噪声传播问题。它引入一个门控模块在每跳推理后评估信息可信度抑制噪声节点的信息传播。4.3 知识图谱多跳问答中的图网络在知识图谱问答中图神经网络用于学习实体和关系的嵌入并执行多跳路径推理。GraftNetSun et al., 2018从知识图谱中抽取问题相关子图使用GCN对子图进行编码然后预测答案实体。PullNetSun et al., 2019则训练一个“拉取”模块迭代地从知识图谱中扩展相关节点构建动态子图有效处理大规模KG上的多跳推理。TransferNetShi et al., 2021将多跳推理建模为关系图上的标签传播过程首跳激活与问题实体直接相关的实体随后逐跳沿关系边传播激活值最终根据激活分数选择答案实体。该方法在MetaQA上取得SOTA且推理过程完全可解释。4.4 图神经网络的局限与改进图神经网络在多跳问答中的主要局限包括计算开销大规模图上进行多层卷积耗时耗内存。过平滑深层GNN导致节点表示趋同限制多跳建模深度。对图构建质量敏感实体链接错误、关系缺失会严重影响推理。改进方向包括引入注意力稀疏化、利用知识蒸馏压缩图模型、联合训练图构建与推理模块。五、链式推理大语言模型时代的范式革新随着GPT-3、PaLM、LLaMA等大语言模型的崛起一种全新的多跳推理范式——链式推理——迅速成为主流。它不依赖显式的图结构或检索器而是通过提示工程激发LLM的逐步推理能力。5.1 思维链思维链Wei et al., 2022要求模型在输出最终答案前先生成一段中间推理步骤的自然语言描述。例如对于问题“《哈利·波特与魔法石》的导演的出生地是哪里”思维链提示会引导模型输出“《哈利·波特与魔法石》的导演是克里斯·哥伦布。克里斯·哥伦布的出生地是宾夕法尼亚州斯潘格勒。因此答案是宾夕法尼亚州斯潘格勒。”思维链将隐式的多跳推理显式化为可读的推理文本不仅大幅提升了复杂问题的准确率还增强了可解释性。在MultiArith、StrategyQA等数据集上思维链使PaLM-540B的准确率提升超过20个百分点。5.2 自问自答与分解推理Self-AskPress et al., 2022将多跳问题分解为一系列子问题并让LLM自行决定是否需要提出后续问题。流程如下LLM判断当前信息是否足以回答原始问题。若不足则生成一个有助于推进推理的子问题如“《哈利·波特与魔法石》的导演是谁”。调用搜索引擎回答子问题将结果并入上下文。重复直至能回答原始问题。Self-Ask显式地将检索与推理解耦每一步子问题都可追溯非常适合与外部知识库结合。IRCoTInterleaving Retrieval with Chain-of-ThoughtTrivedi et al., 2023进一步将检索步骤插入思维链的推理过程中。模型每生成一句推理文本就可能触发一次检索以获取最新、最准确的知识支撑后续推理。IRCoT在HotpotQA、2WikiMultihopQA上取得SOTA证明了检索增强的链式推理的强大能力。5.3 少样本与上下文学习链式推理高度依赖少样本示例的质量。Least-to-Most PromptingZhou et al., 2023将复杂问题先拆解为简单子问题序列再逐个解决。对于多跳问答这种方法显著降低了任务难度。例如先解决“导演是谁”再基于答案解决“出生地是哪里”。程序辅助推理让LLM生成Python代码来执行多步推理如检索、计算然后执行代码得到答案。这种方法将自然语言推理与符号计算结合在需要精确数值计算或数据库查询的多跳问题中优势明显。5.4 链式推理与图网络的融合近期研究开始探索将图网络的结构化推理能力与LLM的链式推理能力相结合。Graph-of-ThoughtBesta et al., 2024允许LLM在推理过程中构建一个推理步骤图而非单一的线性链以建模更复杂的多分支推理。Reasoning on Graphs则让LLM在知识图谱上导航生成包含实体和关系的路径文本作为推理依据。六、对比分析与未来展望6.1 三大范式对比方法范式核心思想代表模型优势局限推理路径建模显式或隐式构建证据链PathNet, SAE, R2-D2可解释性强可控性好依赖检索质量错误累积图神经网络在图结构上进行信息聚合DFGN, HGN, TransferNet结构化推理全局视野计算开销大构建图敏感链式推理LLM逐步自然语言推理CoT, Self-Ask, IRCoT灵活通用无需训练推理深度受限幻觉风险6.2 当前挑战多模态多跳推理现有工作主要集中在纯文本但真实问题常需结合表格、图像等信息。长距离多跳与递归推理当前模型在2-3跳推理上表现尚可但面对5跳以上的长链推理时性能急剧下降。推理与事实的冲突消解当检索到的文档之间存在矛盾信息时如何推理出最可信的答案仍需深入研究。效率与可扩展性无论是图网络的全图迭代还是LLM的链式生成在实时应用中均面临延迟和成本压力。6.3 未来方向神经符号推理融合将逻辑规则、知识图谱约束与神经网络结合在保证推理严谨性的同时利用深度学习的泛化能力。检索增强的持续推理让模型具备长期记忆在多轮对话中进行跨会话的多跳推理。可解释性评估不仅评估答案是否正确还需评估推理链的每一步是否忠实、合理这对高风险领域至关重要。轻量化多跳模型通过知识蒸馏、模型剪枝、推理缓存等技术降低多跳推理的部署门槛。七、结语多跳问答是检验机器阅读理解与逻辑推理深度的试金石。从基于显式路径的迭代检索到图神经网络的结构化信息聚合再到大语言模型驱动的链式推理每一次范式跃迁都标志着机器对复杂问题理解能力的显著提升。当前三大范式正趋于融合图网络为链式推理提供结构先验链式推理为图网络注入语义泛化能力。我们有理由相信未来的多跳问答系统将兼具精确性、鲁棒性与可解释性真正理解“为什么”而不仅仅是“是什么”为构建值得信赖的智能问答应用铺平道路。点击“AladdinEdu你的AI学习实践工作坊”注册即送-H卡级别算力沉浸式云原生集成开发环境80G大显存多卡并行按量弹性计费教育用户更享超低价。