微软研究院 · 2025-01-10

微软提出RAG应对用户四级查询难度的方案

摘要

微软研究院针对检索增强生成（RAG）技术在专业领域部署中面临的挑战，提出了用户查询任务的四级分类体系。该体系从显式事实查询到隐性推理依据查询，逐级递增复杂度，并为每个级别设计了相应的技术解决方案，包括迭代RAG、链式思维提示、微调等策略，旨在帮助开发者根据具体查询类型选择合适的知识注入方法。

内容框架与概述

大语言模型通过整合外部数据能够显著提升其在特定领域的任务完成能力。外部数据增强不仅使模型能够获得领域专业知识，还增强了其时间相关性、输出可控性和可解释性。检索增强生成（RAG）和微调等技术因此受到广泛关注，但在实际部署到专业领域时仍面临诸多挑战。

微软研究院的核心贡献在于建立了一个系统的用户查询分类框架。该框架将查询任务分为四个难度级别：第一级是显式事实查询，可通过明确文本片段直接回答；第二级是隐式事实查询，需要整合多个数据源进行逻辑推断；第三级是明确推理依据的查询，需要理解应用外部资源中明确提供的推理规则；第四级是隐性推理依据的查询，推理依据未明确记录，需要从数据中观察模式推断。

针对这四个级别，研究团队给出了差异化的技术解决方案。对于简单的显式查询，重点解决数据处理和检索问题；对于复杂的隐式查询，则需要迭代RAG、基于图或树的问答、NL2SQL等高级技术；当涉及推理依据时，需要采用提示调整、链式思维提示或构建Agent工作流；而对于最复杂的隐性推理查询，则可能需要离线学习、上下文学习或模型微调。研究同时提出了给LLMs整合外部数据的三种主要形式，为开发者提供了系统的方法论指导。

核心概念及解读

显式事实查询：这是最基础的查询级别，答案可以通过明确的文本片段直接获得，通常依赖单一数据源。例如询问"2024年夏季奥运会举办地"，这类查询的主要挑战在于数据处理效率、检索准确性以及RAG系统性能的评估，而不涉及复杂的推理过程。

隐式事实查询：这类查询需要整合多个分散的数据来源，建立逻辑关联才能得出答案。例如"实验样本量大于1000的数量有多少"，信息可能分散在文档的不同部分。其挑战包括信息分散、复杂推理需求、自适应检索量控制、推理与检索的协调以及多跳推理。解决方案包括迭代RAG、基于图或树的问答系统、自然语言转SQL、智能检索与推理结合以及动态信息整合等技术。

明确推理依据的查询：这类查询不仅需要事实信息，还需要理解和应用特定的推理规则或工作流程，且这些依据在外部资源中有明确提供。例如胸痛患者的诊断治疗流程或客户服务工作流程应对。主要挑战包括提示优化成本高、可解释性有限、多步推理复杂性等。解决方案涉及提示调整技术、链式思维提示、利用LLM本身进行提示优化以及构建Agent工作流。

隐性推理依据的查询：这是最高级别的查询，推理依据或规则并未明确记录在文档中，需要从外部数据中观察模式和结果来推断。例如评估经济形势对公司未来发展的影响。主要挑战是逻辑检索困难和数据不足，解决方案包括离线学习、上下文学习和模型微调等方法，让模型通过数据学习隐含的推理模式。