【论文】基于多源数据融合的科技决策需求主题识别研究

摘要:

大数据环境下，单一数据对科技决策支持的服务不充分、不全面，传统科技决策需求的获取方式较为被动，面对情报用户的决策需求愈加复杂的状况，增加了对用户情报需求描述、情报需求解读与情报服务的难度。为协同利用多源数据，使不同来源的信息相互补充，主动探测情报用户需求，提出一种基于多源数据融合的科技决策需求主题识别方法，以我国科技部机构用户需求主题识别为例，综合多源文本数据结合主题强度分析确定科技部机构用户的重点关注领域主题，确立主题属性，对需求主题在各个主题属性文本中进行词向量计算，从而主动识别出细粒度更高的机构用户科技决策需求主题。通过以科技部机构用户需求主题识别为例，融合多源数据相互补充印证，实现了主动捕获与探测用户的情报需求，从而对用户需求的掌握更加客观、合理、有效，丰富了情报服务的模式，为情报服务变被动为主动提供新理念、新方法。

关键词:多源数据融合;科技决策;用户需求;主题识别

 

大数据正逐渐成为推动社会发展与现代化治理体系构建的新模式与新要素，对国家治理、科技决策、情报服务方式等都产生了巨大影响。有效利用海量的数据资源和大数据分析方法与技术为决策者提供决策支持已经成为情报服务研究领域的共识之一。新形势下，如何做好“耳目、尖兵、参谋”的情报要求对目前的情报工作研究也提出了新的挑战，直接围绕用户决策需求以及问题解决的情报服务成为大数据环境下的工作重点。

 

图情领域面向情报用户的决策支持研究中，大多采用自主调查和咨询的方式来归纳总结用户需求类型，对情报需求获取新方法的研究和应用还不多见;数据驱动环境下，情报需求往往存在于与目标用户活动相关的各类信息中，如何综合利用多源数据融合，运用更为高效的分析方法与技术进行情报需求的挖掘和分析还有待进一步探讨。因此，在“创新驱动，情报先行”的新时代，利用多源数据融合和大数据分析方法，深入探测情报用户需求，为情报用户决策的精准化、个性化支持提供一定的借鉴意义。

 

基于此，本文利用多源数据融合进行科技决策需求主题识别研究，设计用户科技决策需求主题识别方法，以我国科技部机构用户为例，对用户决策需求主题识别进行实验验证。具体而言，通过获取科技部网站数据，结合国家级领导人科技相关活动数据、全国科技重要会议数据和大众媒体科技相关数据，综合运用主题识别、词向量训练等方法，在识别用户关注主题和需求属性的基础上，并形成粒度更高的情报用户决策需求主题。本文对高层情报用户科技决策的精准化、个性化支撑方法进行了一定的探索，为情报服务由被动变主动提供了一定参考。

1、相关研究现状评述

1.1决策需求相关研究概述

1.1.1决策需求与情报服务

情报研究工作的本质即为决策提供支撑服务，面向决策的情报研究与服务，需要在系统分析和定义决策需求的基础上，深入、客观地分析情报用户所关注的重要问题，使决策者能够及时掌握重要的情报信息。

从已有的实践来看，情报服务研究工作通常围绕情报用户决策需求来组织实施，如邓菲等［1］结合嵌入式理论对情报研究服务与用户需求过程的关系进行论述，提出嵌入用户需求过程的情报服务模式。董克等［2］指出，大数据环境下情报产品将直接围绕最终需求与问题的解决。肖勇［3］认为情报研究工作的知识服务应当紧紧围绕针对决策需求，向决策者提供用来有效辅助其决策实施开展的、以知识服务为核心的“决策情报服务”这一中心任务。

这些研究成果从不同角度很好地论述了情报服务决策的过程，总结了大数据环境下情报任务与情报需求的关系。因此，为更好地满足用户决策需求，需要密切围绕决策需求来组织开展面向决策的情报研究服务工作。

1.1.2情报用户需求识别研究

由于情报工作需要时刻围绕用户开展情报服务，因此用户情报需求的基本状况和要求，不仅决定了情报服务的内容和方式，还决定了情报工作的机制与模式［4］。通过总结相关文献，在此将情报用户需求的识别研究分为三个视角:情报来源视角、工程系统视角和方法技术视角。

情报来源视角下的用户需求识别中，传统的竞争情报需求识别方法包括归纳法、问卷调查法和访谈法三种类型，这些用于情报服务的数据源均来自于用户提供。数据环境下，大数据分析的理念逐渐深入人心，化柏林等［5］探讨了多源数据融合的竞争情报服务理念，认为大数据时代的情报人员要围绕情报任务与需求，广泛搜集各类相关信息来进行内容分析。徐峰等［6］认为情报服务要从论文、专利数据为主转向论文、专利、产业数据、市场数据等多源数据的融合分析。陈峰［7］认为，在缺乏与高层决策者直接交流的渠道，以及问卷调查等常规识别方法难以奏效的情况下，可根据领导讲话内容来分析分析高层用户群体的情报需求。

在基于工程视角的情报需求识别中，郭路生等［8］以“事实型数据+工具方法+专家智慧”的情报工程方法为视角，就大数据环境下，情报需求愈加复杂的情况，提出了工程化思维下的情报需求开发范式。徐绪堪等［9］为获取明确和精准的突发事件决策需求，从情报学视角借助数据融合理论，构建了突发事件决策需求的总体结构模型。

在方法技术角度，陶秀杰等［10］通过用户需求向量与文档向量的相似度计算，达到用户需求与检索结果的精度匹配，实现了情报用户需求的深度挖掘。

综合以上，情报来源视角下，用户需求识别由传统的归纳、访谈等被动获取信息方式逐步拓展到广泛、主动地搜集多源数据来进行用户需求识别。在工程视角下，将用户需求融入整体情报服务系统，并根据系统内部各要素间的逻辑关系对用户需求进行识别与满足。在方法技术角度，主要对各类用户需求的挖掘和识别的方法进行了实验和探索。

1.2多源数据融合概述

数据融合理论最早应用于军事领域，后来广泛应用于传感器、地理空间等领域，近年来在情报分析领域也得到应用与发展。将利用多种采集方式获取的，来自不同渠道、具有不同数据结构的信息汇聚到一起，形成具有统一格式、面向多种应用的数据集合的这一过程，称为多源数据融合［11］。对多源数据加以利用能够更为全面、充分地了解状况，基于多源数据的研究也才更具说服力。

M.D.Flood等［12］认为在大数据时代，金融市场面对着许多重要且无处不在的信息，这就需要数据清洗与信息融合来支持决策体系。化柏林［13］从情报分析视角，详细阐述了多源信息融合对情报工作的重要性，并将多源信息类型进行划分，针对不同信息的特点，对融合过程中涉及的具体问题进行了探讨，并相应提出一些操作性很强的办法。李广建等［14］认为第四范式下的情报研究应从单一领域情报研究转向全领域情报研究，并综合利用多种数据源、注重新型信息资源的分析、强调情报研究的严谨性和情报研究的智能化。郑彦宁等［15］认为，“多源信息”与“多元方法”既可保证产业竞争情报分析的全面性，而且通过信息源以及不同方法分析结果间的交叉验证，还可进一步提高情报产品的有效性。由此，综合运用多源数据融合技术与方法能够更加精准、全面地识别情报用户需求，支撑情报用户决策，能够为情报用户提供更为有效、智慧化的情报服务。

2、用户科技决策需求主题识别方法

要更加准确、主动地识别出用户决策需求，为用户提供决策支持服务，需要将用户行为数据，与其他与用户行为相关的数据融合起以来识别用户决策需求主题。主要包括用户关注主题识别和需求属性探测。其中，用户关注主题识别需要在多源数据主题识别基础上，根据主题强度综合考量多源数据下用户所关注主题的重要性，来确定重点关注主题;对用户需求属性探测则需要对文本进行一定分析后，从不同属性的文本中探测与用户重点关注主题相关的信息，需求属性则代表了不同的需求场景，可以是政策属性、技术属性、产业属性、成果转化属性等的需求。

将用户关注主题与需求属性进行一定关联即得到不同属性下的情报用户决策需求主题。基于多源数据融合的用户科技决策需求主题识别方法框架如图1所示。

 

具体工作包括:情报用户主体数据和其他公开信息源数据的爬取，以及数据预处理工作;对数据预处理后所抽取的关键词进行LDA主题建模，对多源文本主题强度进行计算，确定情报用户的重点关注领域主题;借助Word2vec词向量模型学习某主题词在各个需求属性语料中的语境，将词语表示成词向量的形式，计算词向量在向量空间中的距离，用以判断词语之间的相似性的方法确定用户需求主题属性。将科技决策用户关注主题与需求属性进行相关性分析，进而得到用户的决策需求。

2.1多源数据的获取与处理

多源数据源的获取方式可采用网络爬虫技术来实现，本文使用Python语言制定一定规则进行多源数据的爬取。数据预处理工作包括数据清洗、分词、同义词合并、分词优化、去停用词和关键词抽取;数据清洗包括对网页数据、文本信息进行去重和筛选，确保分析结果能够准确反映网页文本内容;分词是文本处理中一个艰巨且重要的工作，特别是中文文本自身词语边界模糊等特点，需要进一步提高分词效果;同义词合并、加入自定义词典、领域字典、停用词表等都可以优化分词效果，有利于后序的分析。

关键词是某一文本中核心内容的体现和主题内容的浓缩，人工抽取关键词耗时费力，实现自动关键词抽取具有重要意义，因此本文设计和使用了一种基于词频统计的关键词抽取方法，为保证实验效果，可以考虑让词频TF≥N的词语参与DF计算，这样能够避免因低频词的干扰而达不到关键词的提取效果。

2.2多源数据融合用户重点需求主题识别

对于多源数据融合的用户需求主题识别，需要在分析研究目标基础上综合考虑多源文本的大小、差异、对用户需求主题识别任务的贡献度，对多源数据关键词的累计大小设定适当的权值，以使多源文本的主题识别结果不会出现较大偏差。在进行主题识别后，计算多源数据的主题强度以此得到用户的重点关注主题。主题强度是指用户对某一主题所拥有的关注程度或热度［16］，在主题识别后，可通过主题内部关键词权重或频次来表征用户需求主题强度。主题强度计算公式为:

 

主题强度的平均值能够反映主题强度的平均水平，可表示为ATI(AverageTopicIntensityIndex)［17］，在主题强度计算时可采用ATI对计算结果进行标准化处理。

 

2.3机构用户决策需求主题识别

识别用户决策需求主题，需要在识别用户关注主题后进行主题属性的划分，将用户的关注主题与主题属性进行一定关联形成用户的决策需求。属性是对某一对象的抽象刻画，是事物在任何条件下具有的性质，科技发展离不开基础科学研究、科学前沿突破、科技成果转化，以及高新技术创新成果的商品化、市场化。

挖掘与探测用户需求，需要情报需求主题、多维度需求属性和需求场景的整合与关联，即融合决策主体数据、业务数据、政策数据等与主体决策相关的场景数据，进行处理与分析，使需求主题、需求属性、需求场景关联。

可借助Word2vec词向量模型将词语表示成词向量的形式，根据词语之间的相似性来判断主题词在各个属性语料中的场景，从而确定用户科技决策关注的主题属性。将用户关注主题词与属性词语关联起来，则能够更好地探测出细粒度更高的用户科技决策需求。

3、以科技部机构用户为例识别用户决策需求主题

科技情报用户分为高端决策用户、中端用户和具体科研人员三个层次［18］。其中，中端用户指科技管理部门，如科技部、国家自然科学基金委等，其主要关注科技优先领域的方向、现成的技术、设施的部署等，加之科技部是我国科技领域国家级部委，是科技情报服务在政府机构层面的主要服务对象，因此本文针对科技部机构用户来进行科技决策需求主题识别。

为使得探测结果更能从多方面印证和表现用户需求，结合与科技部相关的国家领导人讲话、报告、活动数据，科技会议数据和大众媒体数据，通过主题识别，结合主题强度即用户关注强度综合考量与分析，选取主题词识别用户需求属性，最后将需求主题与需求属性进一步分析即得到更高细粒度的用户需求主题。

3.1数据采集与预处理

3.1.1数据采集

本文采用Python+lxml.etree对网站的公开信息进行网页爬虫，通过设置交替伪装UserAgent的方法避免访问服务器时反爬虫机制的识别与过滤，制定不同的匹配规则以适应相应网页内容，采集包括网站发布原有分类下的各级标题、题名、发布时间、正文内容、url列表及部分附件。采集了包括科技部网站、中央人民政府网站、科技大会相关网站、新华网科技目录下数据。2010年后的数据，由于涉及的科技大会分别为隔年举行、每年召开和每4年召开一次，采集数据均为2010年1月起，截至于2018年2月。数据爬取信息见表1。

 

3.1.2数据预处理

第一步:数据清洗。利用Python的pandas包读取Excel数据，并分部门按行合并得到4个dataframe数据集。利用pandas中的drop_duplicates函数对数据集进行去重。针对用户情报需求分析的问题，主要利用数据集中的标题和内容字段。

第二步:分词。本文采用jieba.cut函数，对文本信息进行分词处理。

第三步：分词优化。在词汇处理中，对词频、词组进行规范化处理，包括剔除停用词、同义词合并等，该步骤中除添加停用词词表、同义词词表外，还加入自定义词典、领域字典和公文主题词词表，再次进行分词，得到最终分词优化后的结果。

第四步：基于词频的TF-IDF关键词抽取。为了解情报用户的需求，可通过从文本中提取关键词来发现用户的需求着重点和特殊性，本文基于词频统计的TF-IDF进行关键词抽取。采取TF＞2的策略进行计算，基于词频统计的TF-IDF关键词抽取性能指标如表2所示。

 

通过查全率、准确率和F值可以看出基于词频统计的TF-IDF关键词抽取有效程度较好。

3.2基于多源数据融合的科技决策需求主题识别

3.2.1科技部机构用户重点关注主题识别

需求主题的识别，首先要对多源文本进行主题识别，其次根据多源文本数据量差异和文本内容对用户需求识别任务的贡献度不同，结合“主题强度”识别用户重点关注的主题。

本部分采用Python语言实现LDA主题抽取，首先将各多源文本的标题和内容字段连接起来，利用基于词频统计的TF-IDF关键词抽取，转换成模型可处理的数值型特征，并利用困惑度(Perplexity)来确定最优k值。多源数据困惑度曲线如图2所示。

 

由图2可以看出多源数据的K值在取78时困惑度值最低，为最优拟合结果。随后，对多源文本语料库进行LDA主题建模。根据2.2节中提出的多源数据融合主题强度的计算方法，依据LDA模型主题识别结果，计算多源数据的用户需求主题强度TI值并进行标准化处理，选取大于平均主题强度结果的主题后，得到多源数据下的用户重点关注的主题，如表3所示。

根据多源数据主题强度值，可知用户近年的重点关注主题，为接下来分析用户最为关注的主题并选取主题词进行用户决策需求属性探测提供基础。

3.2.2科技部机构用户需求属性探测

为负责拟订相关政策、引导科技创新方向、进行科研保障的科技部机构用户提供决策支撑，需要在了解科技部的重点关注领域后，结合各领域的属性，能够更为有效、更加深层次地识别出用户的决策需求。

属性文本的分类上，由于科技部网站上拥有专业的规范的信息发布技能，并能够充分发挥自身深入挖掘、报道科技事件、科技政策、科技规范相关信息的优势。结合科技部网站已划分的各级目录，和3.2节主题识别结果，从科技部机构用户的现实需求出发，将科技部文本划分为四大属性主题，确立了科技政策、技术、科技产业、科技成果转化这4个属性主题。

对于用户需求主题属性的探测，在对数据进行预处理后，采用Word2vec词向量模型对属性分类分别进行训练，计算词与词之间的相似性，然后将用户重点关注的主题词放入训练好的属性分类语料中，寻找重点关注主题词最为相似的关键词。结合第3.2节内容，科技部重点关注的科技领域主题来进行需求的探测，表3中，“人工智能”在高新技术产业发展、科技创新与教育、经济社会与智能制造等主题中均有涉及，且在国家信息化建设中，我国发展人工智能是促进国家科技创新、经济转型升级，促进经济社会发展的必然途径。因此，科技部机构用户关注领域，以“人工智能”作为输入词，然后从总数约2万条，每个类别下约5000条的科技部文本下提取出与输入的关键词相似度最高的词及其余弦值，筛选后排名前10位的“人工智能”的相似词输出结果如表4所示。

 

3.2.3科技部机构用户科技决策需求展示

通过对“人工智能”主题词在不同属性文本的相似度词进行相关性分析，结合原文本数据和其他网络数据，分析各个需求属性下各相似词间、属性与相似词语间的关联关系，并将其结合进行表述，获得相似词与需求属性结合下的用户需求短语，现将高细粒度的机构用户科技决策需求展示如图3所示。

 

新一代人工智能正在给人类的经济、社会与生活带来颠覆性影响。目前，人工智能在我国乃至世界范围内受到包括政府、科技领域、产业界、社会大众的广泛关注。准确把握和分析科技部机构用户对人工智能主题科技决策需求，是高效精准地进行决策支撑的前提。

人工智能政策属性需求是较为宏观的科技决策需求，如人工智能政策属性需求与国防建设、科技军民融合联系密切。

现如今，包括智能飞机、智能化的军事装备及智慧国防等国防信息化的发展，使得国家对人工智能在国防领域的发展和应用正逐渐重视起来。

科学技术属性需求中，对智能制造的需求非常高，目前我国关于人工智能应用的前景虽然乐观，但对制造业的人工智能多处于讨论阶段，因此决策者对智能制造决策需求未来将会持续重点关注;另外，前沿基础、核心技术研发、关键技术突破都是人工智能发展的基础核心和重要保障;人工智能在生物医学领域的发展也是目前的决策需求重点，如在机器学习辅助诊疗及分析等此类领域得到广泛关注，但目前人工智能医疗器械领域的发展还处在创新初期，还需要更多的突破和创新。

在科技产业属性需求中，在国家产学研融合发展促进科技发展的环境下，建立人工智能重点实验室成为一项重要的需求工程，能否进一步创新突破，形成更大规模的产业，推进人工智能在医疗、教育、企业等各个行业落地也对人工智能重点实验室提出了较高的要求;同时，传统制造业迫切需要向智能制造进行转型，因此指导和部署产业转型正成为科技部机构用户的重要任务。

值得注意，在节能减排需求下，涉及的相关信息较少，从目前国家对环保的方针政策来讲，该需求在未来可能会受到持续关注，例如将此类节能减排型人工智能技术应用于工业和企业中，能够调节企业生产链过程中的一些不可控因素，减少人力损耗，且更加精准和高效。

成果转化属性需求下，为使科技创新成果更好地服务国家、造福人民，迫切需要加快人工智能创新成果的转化应用。如革命性人工智能产品的需求、人工智能引入交通运输业的需求，特别是在智能交通系统中的发展，以及推动社会基础设施建设都是值得关注的重要需求。

同时，引导众创空间专业化发展，不仅是当下人工智能领域科技成果转化关注的重点，也是整个万众创业创新驱动下的新要求。

4、结束语

本文主要针对目前科技决策服务中，单一数据对科技决策的支持不充分、不全面问题，以及传统科技决策需求的获取方式对大数据环境下的情报需求描述难以更加准确、对用户情报需求解读与情报服务缺乏及时性等被动状况，以科技部机构用户为例，开展了基于多源数据融合的用户需求主题识别研究，通过综合多源数据文本，结合主题强度分析确定用户的重点关注领域主题，并选取“人工智能”领域为例，采取Word2vec词向量计算分别得到该主题词在不同属性文本中的主题属性，综合分析探测出更为细粒度的机构用户科技决策需求。

从数据来源上，本文探索了融合多源数据，通过加工、协同利用多源数据，使不同形式、来源的信息相互补充，主动探测情报用户需求，从而对用户需求的掌握更加客观、合理、有效，为解决情报产品与情报需求之间不匹配的问题提供新理念、新方法。

从实际应用上来看，本文的研究结果主要是为中高层级别的科技情报用户提供决策支持服务，与以往的情报服务模式相比，通过主动探测用户情报需求，在领导需求之际甚至在提出决策之前，就提交出具有针对性、专业性及预判性的情报信息，这不仅可以提高情报工作的显示度，有利于促进情报行业的健康发展，也对为情报学科建设注入新的活力具有较强的理论与实践意义。

本研究还存在以下不足。

首先，用户需求属性的判别主要是结合实际人工定性分类，后期可采用SVM，BBN等机器学习算法对文本进行分类，以提高属性划分的科学性;

其次，未考虑时间因素，本文在收集数据时注意到大多数据为近5年发布，且由于科技发展迅速，从规划到部署、实施都需要数年的时间来完成，因此近几年的数据能够更好地体现用户的需求。未来可引入时间序列，收集时间跨度较大的数据，来表现用户需求的演化以及用户的某一需求强度随时间的变化等，如此对于提高决策支持的精度有重要意义。

参考文献 

［1］ 邓菲，李宏. 嵌入科研的情报研究服务新模式探究 ［J］ ．

情报理论与实践，2013，36 ( 7) : 10-14. 

［2］ 董克，邱均平 . 论大数据环境对情报学发展的影响 ［J］ ． 情报学报，2017 ( 9) : 886-893. 

［3］ 肖勇. 论基于“三大研究范式”之上的当代中国情报学学 科体系与学科群体系构建 ［J］ ． 情报学报，2017 ( 9) : 894-907. 

［4］ 胡昌平. 信息管理科学概论 ［M］ ． 北京: 科学技术文献 出版社，1995. 

［5］ 化柏林，李广建. 大数据环境下的多源融合型竞争情报研 究 ［ J］ ． 情报理论与实践，2015 ( 4) : 1-5. 

［6］ 徐峰，姚长青. 新时期我国科技创新情报需求转变的分析 与思考 ［ J］ ． 情报工程，2016 ( 3) : 8-13. 

［7］ 陈峰. 分析高层领导讲话识别竞争情报需求的方法 ［J］ ． 情报理论与实践，2012 ( 9) : 57-60. 

［8］ 郭路生，刘春年，李颖. 大数据环境下应急情报需求开发 工程化范式构建研究 ［ J］ ． 情报杂志，2017 ( 8) : 52-57. 

［9］ 徐绪堪，吴慧中，张吉成，等. 基于多源数据融合的突发 事件决策需求研究 ［J］ ． 情报理论与实践，2017 ( 11) : 40-44. 

［10］ 陶秀杰，龚婷，吴志强. 基于交互式情报用户需求深度挖 掘的电网信息检索方法研究 ［J］ ． 图书情报知识，2014 ( 4) : 57-62. 

［11］ 李广建，化柏林 . 大数据分析与情报分析关系辨析 ［J］ ． 中国图书馆学报，2014 ( 5) : 14-22. 

［12］ JAGADISH H V. Big data challenges and opportunities in financial stability monitoring ［J］． Financial Stability Ｒeview，

2016. 

［13］ 化柏林. 多源信息融合方法研究 ［J］ ． 情报理论与实践， 2013 ( 11) : 16-19. 

［14］ 李广建，杨林. 大数据视角下的情报研究与情报研究技术 ［ J］ ． 图书与情报，2012 ( 6) : 1-8. 

［15］ 郑彦宁，刘志辉，赵筱媛，等. 基于多源信息与多元方法 的产业竞争情报分析范式 ［J］ ． 情报学报，2013 ( 3) : 228-234. 

［16］ 刘自强，王效岳，白如江. 多维度视角下学科主题演化可 视化分析方法研究———以我国图书情报领域大数据研究为 例 ［ J］ ． 中国图书馆学报，2016 ( 6) : 67-84. 

［17］ 李静，靳丽娟，赵素君. 一种基于 WordNet 语义增强和多 源数据主题贡献度分析的科学研究前沿探测方法［J/ OL］ ． 情报理论与实践: 1-11 ［2018-10-31］． http: / /kns． cnki． net/kcms/detail/11． 1762． G3． 20180411． 0948． 002． ht

ml． 

［18］ 化柏林. 科技信息大数据在情报研究服务中的应用 ［J］ ． 图书情报工作，2017 ( 16) : 150-156.

 

文章来源：《情报理论与实践》 第42 卷2019 年第3 期

作者简介:周群，女，1991年生，硕士生。研究方向:大数据情报分析。

化柏林(通讯作者)，男，1977年生，博士，助理教授。研究方向:大数据情报分析，知识挖掘。

作者贡献声明:周群，论文思路设计与撰写。化柏林，论文研究思路指导，论文修改与完善。

本文为国家社会科学基金面上项目“基于多源数据融合的情报 用户需求探测研究”的成果之一，项目编号: 17BTQ066。

录用日期:2018－10－08

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【论文】基于多源数据融合的科技决策需求主题识别研究