语言模型在外部数据集中的推理应用

垂直语言模型采用开源基础语言模型作为基座模型，在收集的行业领域数据中通过全量微调、高效参数微调等方式完成垂直语言模型的定制，进而达到提升语言模型在行业领域的推理应用效果。目前基础语言模型主要采用transformer或其优化的网络结构，在语料中完成模型参数的预训练，且基于所采用网络结构模块的不同，预训练形成的语言模型可分为面向编码结构的语言模型、面向解码结构的语言模型、面向编码-解码结构的语言模型。如图1所示，总结基于不同网络结构模块的语言模型，目前大语言模型基本从解码结构、编码-解码结构中产生。以BERT模型引领的面向编码结构语言模型，其作为掩码语言模型，通过对输入序列中被掩字词的学习预测，形成模型对文本的语义理解能力。与面向非编码结构的语言模型相比，面向编码结构语言模型具有生成能力不足、掩码语言模型训练繁琐等缺陷，同时面向非编码结构的自回归语言模型也可以处理编码结构中掩码任务的处理。因此，transformer中的非编码结构成为大语言模型方案的主流架构设计。

面向开源基座模型的行业领域垂直语言模型的定制，涉及开源基座语言模型的选择、行业领域数据收集整理以及垂直语言模型训练优化。如图2所示，展示了目前主要开源的垂直语言模型信息。

在概述语言模型在外部数据的问答应用时，首先以文章[3]中的增强问答检索能力的语言模型方案展示如何在外部数据中进行语言模型的应用推理。图3方案思路为：在文本语料库中完成带掩码输入文本的语义相似语料提取；所提取的语义相似语料与带掩码输入文本编码至语言模型中，以模型输出完成对掩码信息的预测并作为输入问题的解答。

因此，在外部数据中借助语言模型的语义分析能力完成所输入问题的潜在答案的推理分析核心是如何完成外部数据中与输入问题关联语料的提取，其必要性在于语言模型输入长度的限制。为此，核心工作可为如何在外部数据中完成与输入问题文本语义相关的语料数据的提取，以作为输入问题解答的价值信息源。

在完成输入问题文本与外部数据中语料数据相似性评估时，采用Ernie、Bert等预训练语言模型完成语料文本特征的向量化表示，进而通过待评估文本间特征向量的相似性衡量文本间语义的相似性。因此，在外部数据中的语言模型推理应用的流程涉及1.将外部数据的语料进行适应性划分，并完成文本特征向量化；2.将输入问题文本特征向量化，并通过特征向量评估完成外部数据中语义相似的语料提取；3.将提取的相似语料与输入文本嵌入合适的提示输入中，并利用语言模型的推理能力，完成对输入问题的推理分析。以上过程如下图4所示,即langchain-ChatGLM[4]方案流程图。

由于外部数据组织形式的不同（涉及领域知识图谱、文本、图片、语音、公开网页等），故而在方案流程环节1中的外部数据处理与特征向量构建等过程有差异。如在若外部数据为领域知识图谱，则外部数据中语义相似语料提取的过程应适应性转变为：提取输入问题文本主题词，并语义一致性映射至领域图谱实体中；完成主题词对应实体的在图谱中的关联知识的查询与提取。若外部数据为pdf等形式的文档语料，则外部数据中语义相似语料提取的过程应适应性转变为：完成文档语料的适当划分，并实现划分后语料信息的特征向量计算与关联存储；完成输入问题特征向量计算，并完成依据特征向量的相似语料信息的提取。