RAG QA 系统的检索和生成调优

为了展示这些方法，我们将通过一个实际用例来解释。

最近，我们有这样一个需求：有一个外部的漏洞公告知识库，用户使用自然语言提供漏洞公告信息查询，我们用自然语言回答相关问题，需要从知识库中找到最相关的漏洞公告文档，以便我们可以将这些文档作为上下文，结合用户的问题生成答案。以下称为“漏洞公告 Q&A 系统”。

每篇漏洞公告是一个独立的文档，包含一个正文字段和一个来源字段。

构建漏洞公告 Q&A 系统涉及确定检索器组件将处理的文档的理想块大小。在这里，块大小的选取主要考虑了任务的要求：小的分块有利于扩大样本规模和增加某些问题的语义相似度。大的分块有助于保存尽可能多的有关上下文信息，但不利于根据用户查询计算语义相似的文本内容。但总之，漏洞公告 Q&A 系统把两种不同长度分块的文本向量都进行存储和索引，以应用不同的检索器。

朴素检索器是最简单的检索器。它只是在向量存储中查找与用户原始查询最相似的文档。

此时，我们的需求是找到与漏洞编号相关的文档，而不仅仅是单纯比较查询与文本块的相似度。这时，我们可以使用自我查询检索。漏洞公告 Q&A 系统经常需要处理指定漏洞编号的用户查询，这时，可以利用 LLM 重新生成结构化的查询，一部分去进行文本检索，另一部分是去查询存储的元信息进行结构化的筛选。

用户可能会有这样的需求：查询 SHA256 值为 dbc3842a5e3918463690fa165b2b0955989c00702bc7284af5875ef08e7606b1 的漏洞模块的相关信息。这时如果只使用上述方法，可能会返回与 SHA256 值完全不相关的文档，不包含漏洞模块的相关信息。这是因为向量化之后的文本很难存储这种精确的特征值，这时候我们可以使用混合检索器，结合稀疏检索器和密集检索器的优点，来返回最相关的文档。

检索方法通常可以根据信息编码方法分为两种类型：稀疏和密集。稀疏检索是基于单词的，主要应用于文本检索，而密集检索将查询和外部知识嵌入向量空间中，可应用于各种数据格式，我们上面一直使用的向量检索就是密集检索。BM25 是一种词袋检索函数，根据查询关键字在每个文档中的出现情况对一组文档进行排名，而不考虑它们在文档中的接近程度。它是一组具有略有不同组成部分和参数的评分函数，与向量检索互为补充。

父文本是为了解决分块大小舍取导致的精度和上下文的矛盾。这为每个文档索引多个子块，然后在嵌入空间中找到最相似的块，但检索整个父文档并返回它（而不是单独的子块）。因为在拆分文档时，通常存在冲突的愿望：您可能希望拥有小型文档，以便它们的嵌入可以最准确地反映其含义，如果太长，那么嵌入可能会失去意义。同时，您也希望有足够长的文档，以保留每个块的上下文。

由此也引入了融合检索，通过调整各个检索器的权重结合不同检索器的优点。融合检索接受检索器列表作为输入，赋予各个检索器不同的权重，并根据互倒排序融合算法对它们的 get_relevant_documents() 方法的结果进行整合和重新排名。通过利用不同算法的优势，融合检索可以实现比任何单一算法更好的性能。稀疏检索器擅长根据关键词查找相关文档，而密集检索器擅长根据语义相似性查找相关文档。

因此，结合上述的四种方法，可以得到更好的综合检索效果。

在生成阶段，我们将检索到的文档作为上下文传递给 LLM。但是，由于我们的文档是在检索之前分块的，LLM 并不能识别各个文档组成的上下文是否是多个文档，我们需要明确文档的边界。这样，LLM 才能正确地理解上下文的结构，避免来自于不同漏洞公告的文本块迷惑 LLM ，让 LLM 对多个文本块产生混淆，从而生成被误导的答案。在我们的漏洞公告 Q&A 系统中，我们可以使用特殊的分隔符来明确文档的边界。

system_prompt = """You are an assistant for question-answering tasks.    Use the following pieces of retrieved context to answer the question.    Each piece of fact is separated by @@@@@ and not mixed up with each other.    If you don't know the answer, just say that you don't know.    Use three sentences maximum and keep the answer concise.    nn    Context: {context}    Answer:"""    prompt = ChatPromptTemplate.from_messages(        [            ("system", system_prompt),            ("user", "{input}"),        ]    )

在自我查询检索器中，我们使用 LLM 生成结构化查询，然后再进行文本检索。引导 LLM 生成结构化查询的示例可以帮助 LLM 更好地理解结构化查询的格式。在我们的漏洞公告 Q&A 系统中，我们可以使用少样本示例来引导 LLM 生成结构化查询。

examples = [        (            "what is the vulnerability public disclosed date in 2022-158?",            {                "query": "public disclosed date",                "filter": 'eq("source", "2022-158")',            },        ),        (            "What are the affected modules in 2022-158?",            {                "query": "affected module",                "filter": 'eq("source", "2022-158")',            },        ),    ]