【资料】用于情报目的的自动文本分析：心理分析案例研究

摘要

随着互联网上海量数据的出现，解决一些情报分析任务的前提也发生了变化。本文提出的研究旨在检查数据驱动的方法是否以及如何有助于解决情报任务。在一整天的观察研究中，一个普通的军事情报单位被分成两个统一的小组。每个小组都被要求独立完成相同的现实情报分析任务。两个小组都被允许使用他们普通的一套工具，但另外一个小组还被允许使用一个新的文本分析原型工具，该工具专为支持社交媒体数据的数据驱动情报分析而设计。从具有很高生态学有效性的案例研究中获得的结果表明，原型工具提供了有价值的见解，因为它提供了来自更多样化来源的信息，特别是来自普通公民的信息，否则这些信息不会轻易被发现。此外，不管该工具的客观贡献如何，该工具的功能和使用都受到所有相关分析师的欢迎，并主观上被认为是有用的。
关键词：数据驱动分析·文本分析·社交媒体·情报·心理分析·生态有效性

1、导言

每天由新闻媒体、个人和其他信息来源产生大量易于在因特网上访问的数据。这种大海量产生的数据，对于任何人或人类群体来说太大而无法处理，预计在未来还会增加更多，换句话说，信息过载(其简单地说是关于接收太多信息无法处理)，有时会损害人类利用可用信息的能力。由于正确的信息片段有可能对某些个人或群体有价值，因此大家希望拥有尽可能利用在线数据的可能性的能力。

一套数据挖掘工具和其他分析工具形式的软件，能使用户筛选大量数据，以搜索与其相关的被追查信息。人们普遍认为，当系统地使用这些工具和技术时，各利益攸关方的最终成果将得到改善。即使这一假设似乎很有道理，但似乎只有有限的研究证实或证明这种假设是错误的。相反，文本挖掘和类似技术的（积极）价值在文献中常常被看作是一个给定的事实。

这项工作试图检验文本挖掘工具用于真实生活情报任务的实际贡献。在文献中，人们非常关注从设计和功能方面对与软件的可用性有关的事项的调查。当涉及到软件对某些任务的实际效用时，可用的学术文章少得多。此外，计算机软件对组织生产力的贡献并不总是显而易见的，知道一个软件是否真的对组织总体目标做出了贡献显然是有价值的。在本章中，考察了文本分析软件对情报分析的有效性。

1.1   情报领域

因为这个案例研究的上下文被设置在情报分析场景中，所以给出关于情报字段的一些词语来启发读者。

似乎情报在文献中没有一致的定义，因为该领域内的许多文章都从对基本定义的相当广泛的讨论开始，然而，在国家一级，Bimfort已经在1958年提出情报是关于收集和处理关于外国及其特工的信息，这是政府为其外交政策和国家安全目标所需要的。这一定义也将符合本章的目的。

根据具有与其他国家类似的定义的美国学说联合出版物2-01，在军事背景下联合情报行动的目标是向指挥官提供准确和及时的情报，这使他们能够了解作战环境，特别是敌方部队、能力和意图。因此，情报分析的目标是对当前状况作出准确的评估，并对未来作出足够好的估计，这些估计可用于各种决策者。虽然这个任务在理论上足够简单，（好）分析工作并不是小事。一些不确定性影响最终分析的质量，并且该过程本身并非直截了当，因为它通常涉及想象力和批判性推理的混合，有时分析员掌握了一条信息，并寻找缺失的部分，以印证一个假设。同时，分析人员还可以为多个假设寻找支持性证据，此外，大多数情报过程努力从几个相互独立的来源收集信息，以便希望减少不确定性。在这方面肯定经常使用易于获得的开源信息。

在军事情报语境中，上文所讨论的对不同“局势”的分析兴趣的范围随战争的等级层次而不同，例如战术、作战和战略层次，这突出了意识的不同方面。虽然不同层次的确切含义和分类因国家和组织而异，但多层次的存在没有争议。在下文中，瑞典学说被用来举例说明。由于现代冲突的动态和复杂性，各级之间的差异和界线限随着时间的推移而缩小。同一条信息有时可以回答多层次的情报要求。级别之间的最大区别因素是时间视角，战术级别情报功能的目标是支持个人（军队）单位的规划和任务执行。战术水平涉及战场上有限的地理区域，需要回答的问题的性质是具体的。这些活动的相关时间框架是即时的；时间范围为一天至一周，有时为一小时至几天。

另一方面，情报业务级别的目标是支持正在进行的或计划的(军事)行动。这里，行动区是感兴趣的区域。这些问题多种多样，具体和抽象，时间通常为一周至几个月。

在战略层面，目标是回答可能抽象的问题，涵盖关系不清楚的不同主题的多样性，并以可用于制定政策和军事计划的估计形式产生情报，并通报国家一级的安全措施。战略情报的时间范围从几个月到几年不等，因此，战略层面关注和预期具有深远政治、外交、社会、经济和军事意义的事件，这些事件往往围绕着战争、和平与稳定问题。

鉴于上述各种要求，国家一级的情报机构需要拥有不同类型的情报来源。一般公认的分类法是根据来源类型分为开源情报(OSINT)、人力情报(HUMINT)、测量和签名情报(MASINT)、信号情报(SIGINT)和图像情报(IMINT)。

Heue认为，情报分析问题通常有两种基本但不同的方法：概念驱动的方法和数据驱动的方法。

概念驱动的方法需要存在分析模式，例如某些模型，并且分析的结果直接与输入模型中的数据的可用性和质量相关。数据驱动的分析，可能没有成熟的分析模型，而是有大量可用数据。在后一种情况下，挑战主要不是获取数据，而是查找和选择可用于为手头的情报问题形成合理假设的相关信息。

在使用概念方法时，一个潜在的错误来源是，研究表明，分析人员长期以来的一般信念和预见会影响评估结果，即使有支持其他结果的现有数据。

在这方面，因特网提供的大量数据的可用性已经改变了情报分析员的工作，并且很好地符合数据驱动分析的要求。特别地，已经发现社交媒体帖子提供了可用于情报分析的相关数据。可以基于社交媒体数据进行几种类型的分析，例如文本分析、社交网络分析和趋势分析。

1.2   研究问题与概述

本章研究的总体目的是研究自动文本分析如何有助于解决普通情报分析任务。为此，进行了个案研究，试图回答以下两个研究问题：

-       Phrasebrowser是文本分析工具的特定实例化工具吗？

-       使用文本分析工具是否提高了典型分析交付品的质量？

为了解决研究问题，创建了一项研究设计，要求分析员对情报的心理分析案例进行评估。前俄罗斯情报军官SergeiSkripal和他的女儿Yulia在大不列颠中毒的案件被选中。选择这一事件的理由是，不同类型的多家媒体以及其他数据来源已充分报道了这一事件。本课题在所研究的受试者通常感兴趣的领域里相当不错，情报分析要求的范围相当现实，可以预期一些不同的叙事和反叙事，例如混淆，将在互联网上启动和传播。

本章其余部分的结构如下。第2节概述了心理分析领域和相关工作。然后，在第3节，对文本分析原型工具Phrasebrowser的描述如下。接下来，第4节描述了涵盖研究设计、观察性研究设置和研究的执行的所进行的方法。第5节介绍了结果。然后，第六节讨论了调查结果和有效性问题。最后，结论载于第7节。

2、背景

在介绍了上面的情报字段之后，本节描述情报分析、心理和影响操作的框架，并列出了一些相关的工作。

2.1     情报分析

生产情报的基本方法是收集信息，进行分析，然后创建一个情报产品，该产品可以形成决策的基础。这主要是一个认知过程，一个发生在分析师自己的头脑中的活动。并非总是清楚评估如何进行，以及在不同情况下应如何进行，但在方法学层面上，情报职业与科学工作的职业之间有着密切的联系：情报的工作主要是制定假设，并在可能的情况下审查和伪造这些假设。但是，与科学工作相比，也存在很大的差异，因为情报的工作与操作工作有关，并且需要在给定时限内基于当前可用的信息来提供预测，而不管其是否被判断为足够质量。因此，可以说情报工作的特征与其本身具有“秘密科学”的性质，不如说是（实际上常常是秘密地）应用关于信息和情报问题的科学方法和方法，这些方法和方法具有操作性和战略性，而非科学性。在情报受试者的分析中，并且为了试图从已有的实践走向更具结构性的方法，Agrell和Treverton用以下术语陈述这一点：

情报分析有可能成为一门应用科学。其目的在于根据不完整、不可靠或不确定的数据管理威胁和可能性评估的不确定性，因为需求需要这些评估，而不论其局限性如何。用这些术语来定义，情报分析作为一门真正的跨学科科学在现实中脱颖而出，其理论基础和一套方法不限于任何单个主题或分析领域，而是适用于每个具体应用。

如上所述，信息管理及其相关的不确定性发挥着中心作用，衡量精度、质量和效用的手段——所谓的信息意识——至关重要。

2.2        心理分析/操纵

武装冲突的根源，或者实际上人与人之间的任何争执，可能是不同种类的，例如，意识形态的差异，对稀缺资源的竞争等，但冲突的最终目标总是以一种或另一种方式把一方的意志强加给另一方，例如，中国古代战争理论家孙子所表达的意志，以及用克劳西策论者极具影响力。

心理分析/操纵在军事行动的背景下，是攻击性信息行动的一部分，旨在影响感知，态度和最终改变外国认可的目标受众的行为，有时使用的心理分析/操纵的另一个名字是军事信息支援行动，MISO。这类活动有时被视为军事指挥官战役计划的一个关键推动力，而且可以根据短期和长期原则进行。总体信息作战领域还涉及其他活动，如民政，计算机网络攻击，欺骗，破坏，电子战，作战安全和公共事务，心理分析/操纵和相关活动，然而，不仅是美国和北约理论的一部分，而是俄罗斯，中国和其他国家的国家安全或军事理论以及，相关的术语是影响行动，它不是类似的军事行动。影响行动主要包括非动能、与交流有关的和信息活动，其目的是影响目标受众的认知、心理、动机、思想、意识形态和道德特征，影响行动可以由除军队外的政府组织以及民用信息渠道进行。此外，行动可以公开(有指定的来源)和秘密进行。

在影响行动方面，角色、任务与谁之间以及军事和民事组织之间的界限并不总是明确的，为了简单起见，在本案文中仅使用心理分析一词。核准的作战目标可以是个人、团体和网络、敌对领导联盟和公众，在心理分析/操纵的防御方面，可能的任务是确定自己，或一些其他目标受众是否在敌对作战的接收端。为了完成这样的分析，北约理论在这里用来强调心理分析原则，它规定对来源、内容、受众、媒体和效果(SCAME)进行详细的审查。源、内容、受众、媒体和效果（SCAME）模板也可以用于攻击性操作的规划过程。

2.3  相关工作

对于数据挖掘工具的效用，似乎有一个普遍的共识，因为在许多情况下，它们可以帮助找到有用的信息。然而，很难找到确切说明这些工具如何促进信息收集工作的例子，更确切地说，最终产品的质量改进就是如此。然而，英国政府委托进行的一项研究得出结论认为，文本挖掘在学术研究方面具有若干好处。研究发现，一个改进是总体提高研究人员的效率和研究质量。采矿还被归结为带来了"解锁隐藏信息"的能力，即关于文本之间潜在不明显联系的洞察力，以及开发新知识的能力和探索"新视野"的能力。

Pal列出了在公共和商业部门中数据挖掘工具非常有用的应用领域。对公共部门而言，通过健康保险和医疗保健应用，发现科学调查和研究分析、刑事调查和国土安全等领域受益于文本挖掘。在纯商业部门，提到了客户细分和有针对性的市场营销、金融等领域。

一些学者指出，因特网上可公开获得的数据可以系统地用于情报目的，已经观察到，用于公司数据的系统处理的一些自动化数据处理技术，即情报已经开始使用人工智能，并且这些技术的进一步发展具有提供竞争优势的潜力，然而，对于如何找到有意义的任务来说，有相关的挑战

使用来自自然语言处理领域的方法和工具进行自动文本分析已被提出作为减少人力情报（HUMINT）分析员的一些选择性和解释性工作的方法。关于更紧密相关的政府和军事情报任务，郭等人从人类生成的战术报告中提取实体，以支持情报分析。他们抽取了组织、地点、人员等实体，并取得了良好的结果。Razavi等人试图提取海上行动风险的信息。

商业部门应用的其他例子包括He等人的工作，其探索了文本挖掘的使用如何对披萨行业的公司有用。他们的结论是，社交媒体的文本挖掘增加了有用的信息，例如，在公司的任务中了解披萨市场。Alex等人能够显示使用自然语言处理技术用于策展的生物医学数据系统场景中的效率的提高，例如减少工作时间。

3 、Phrasebrowser

本节描述原型工具Phrasebrowser的范围和功能。瑞典国防研究局不断开发Phrasebrowser。它是框架中的几个原型之一，旨在强调Web和文本分析工具给分析员提供的可能性。在这方面，Phrasebrowser的发展进程为研究人员和从业人员提供了参与互利讨论的机会。

3.1  概览

Phrasebrowser分析是一个文本分析原型工具，旨在通过处理Twitter数据来支持分析工作。该想法是通过预定义的主题向用户/分析人员提供所收集的数据的几个透视图。不同的视角提供了数据的概览，这些数据可以指导分析员选择感兴趣的子主题，并进一步深入挖掘以找到感兴趣的特定内容。因此，原型工具既可用于监测感兴趣的主题或领域，也可用于进行研究以回答具体问题。虽然原型工具带有预定义的主题，但是快速添加新主题的简单第一版本是相对简单和直接的过程。这种多功能性使得该工具与涉及各种专题问题的分析工作以及对时间敏感的任务相关。

3.2  Phrasebrowser

Phrasebrowser向用户呈现按所谓类型分类的短语。短语被定义为一个或多个单词的序列，并且每个短语具有类型。在研究中使用的一组推文中的一些示例短语（及其短语类型）是：“lab shang”（短语类型：“General Phrase”）、“Boris Johnson关于Skripal”撒谎（“Explicit Untruth”）、“UK”（“Location Counted Thing”）。有关短语类型和短语的更多示例，请参见表1。在研究时，有50多种不同的词组类型可供分析员使用。

在接口中，用户可以选择类型，例如“Counted Things”，导致该类型的短语列表连同关于短语使用多少tweet的统计一起呈现。为了阅读包含任何特定短语的文本，例如"30个问题"，用户简单地点击该短语。每段文本作为Twitter上原始tweet的链接，其中通过研究相应帐户的内容等可以找到更多的上下文。

可以使用任何自动方法识别短语。在本文所介绍的观察性研究中使用的工具版本中，第三方库用于识别实体(见第3.5节)，并且第3.6节中描述的规则语言用于所有其他短语类型。

3.3        预定义短语类型与过滤

在当前的研究中，分析人员使用一组预先定义的短语类型，无法更改或添加新的短语类型。表1显示了这些短语类型中的一些，在下文中，它们被进一步描述：

“通用短语”试图捕获基于部分语音标签的任何类型的内容。这是一个短语类型的例子，导致许多短语——也许太多了。用机器学习方法交换或补充这种短语类型可能是有用的。目前，这是最普遍的短语类型，主要用于探索内容，而不需要查找大多数其他短语类型试图捕获的任何特定内容。

“计数物/人”的定义使用捕捉计数的其他短语类型，同时使用“物”和/或“人”。这种短语类型的一个可能的用法是寻找某种上下文中给出的不同数字。例如，消息来源可能会夸大抗议者的人数。

"实体"，如"人"、"地点"和"组织"，由实体探测器发现(见第3.5节)。这些实体被若干其他短语类型重用，例如，上述"被计数的人"短语类型。

“显性不真实”捕捉了长长的单词列表中任何单词的用法，这些单词明确与欺骗、宣传、误导、假新闻等有关。这个想法是，每当有人写下某事时，它就很有趣

表1 Phrasebrowser工具中可用的主题/类型以及从研究中使用的数据集提取的短语的例子

主题/类型	短语	##
一般短语	所有	2.806.084
	实验室说	9297
	用于斯克里帕尔中毒	8842
	俄罗斯生产	5284
	英国的虚假信息运动	4326
	在美国	4205
	电位下降研究实验室	3401
	研究实验室告诉天空新闻	3373
	给Sergei  Skripal	3122
	克里斯托弗·斯蒂尔	2803
	Yulia  Skripal	2563
计数物品/人员	所有	105.931
	60名俄罗斯外交官	1406
	30个问题	927
	两周	861
	14个简单问题	823
	百篇叙事	383
	两个BBC同事	294
	20个欧洲国家	280
	2800俄罗斯机器人	232
	23名英国外交官	212
	两人中毒	203
实体	所有	5.601.461
	Skripal	373.735
	俄罗斯	113.772
	英国	107.982
	Yulia	97.560
	索尔斯堡	32.903
	电位	25.029
	Novichok	22.236
	普京	22.017
	禁止化学武器组织	19.292
	特丽莎·梅	14.136
明显的谎言	所有	62.579
	宣传	4532
	鲍里斯·约翰逊对斯克里帕尔撒谎	1641
	莫斯科的谎言	427
	克里姆林宫的宣传	417
	英国的谎言	204
	特蕾莎·梅撒谎	155
	“俄罗斯机器人”叙事	153
	Skripal叙事	142
	躺在诺维奇克的源头	111
	唐宁街旋律大师	82

谎言、假话、错误信息等：要么声明是真的，要么写声明的人有议程。因此，这些短语通常包含可疑/有趣的陈述，这些陈述可能用作进一步分析的起点。在第3.7节中，提出了"明确不实"的一些简化规则例子。

为了深入挖掘数据，可以使用每个短语和短语类型作为过滤器，该过滤器将搜索缩小为仅包括包含所选短语的推文。然后可以使用其他可用的类型和短语来研究所得到的较小数据集。例如，使用"TheresaMay"一语过滤数据，然后查看"Explicit Unstruth"一语，只能获得"ExplicitUnstruth"与"Theresa May"并存的。

3.4      Phrasebrowser系统概述

图1显示了Phrasebrowser系统的概述。使用TwitterStreamingAPI和/或RSS提要实时下载数据。该数据由若干分析组件连续处理，并存储在弹性搜索数据库搜索引擎中。系统架构和结构是可扩展的，适合并行化，使用Docker封装子系统，使用Kafka在子系统之间分配数据。

分析阶段包含处理数据并向其添加信息的几个子系统。原始数据(包括元数据，如果有的话)连同分析的结果一起被存储为元数据。

图1Phrasebrowser系统草图。原型工具可以处理Twitter和RSS数据，分析文本和图像

通过对元数据进行过滤，可以在用户界面中检索和可视化存储的数据的不同部分。

Phrasebrowser可以实时地在数据流上运行。然而，取决于所使用的硬件，分析可能不跟上流。在这种情况下，Phrasebrowser不断处理最新的tweet或RSS更新，这意味着某些数据可能永远不会被处理。在本观察研究中，使用单个普通PC使用TwitterStreamingAPI运行搜索查询“Skripal，skripal”，导致5%的Twitter被丢弃。

3.5  文本处理

图2放大了与这项研究相关的（文本）分析步骤的部分。为了检测大多数短语，应用基于规则的方法。每段文本首先通过自然语言处理(NLP)库运行，以将其划分为句子和记号、对记号进行引理化并确定语音的一部分，以及检测实体。来自自然语言处理(NLP)库的输出被转换成表示输入数据中的每个句子的简单特定文本格式。然后，格式化的文本被发送到规则语言引擎，导致每个句子的一组短语。短语被添加到tweet/文本的元数据中，如第3.4节所述。

通过这种构造，规则语言引擎与自然语言处理(NLP)库分离，并且唯一需要做的是指定从自然语言处理(NLP)库输出格式到规则语言引擎所需的特定文本格式的转换。已经为几个不同的库指定了转换。对于当前的工作TwitlE，使用了专门用于微博文本的GATE管道。

转换到先前提到的特定文本格式包括将由自然语言处理(NLP)库检测到的实体转换成短语，其中短语类型对应于实体类型。因此，这些短语最初通过库使用的任何方法检测。对于实体来说，这通常是基于词典和机器学习的组合方法。

在第3.6节中进一步描述的规则语言是灵活的，并且被构造为使用简单的单词列表来检测从单个单词到更复杂的短语的任何东西成为可能。从某种意义上说，语言是依赖于语言的，对于任何新语言，都需要根据以下条件创建一个并行的文本处理流水线。

图2短语文本处理。每段文本由自然语言处理(NLP)库处理，随后将自然语言处理(NLP)库输出转换为特定文本格式。基于格式化文本，规则语言引擎为每个句子生成短语。

图2.然而，在初始学习期之后，很容易为新语言快速创建基本短语类型。到目前为止，英国和瑞典的处理管道和规则已经实施。

3.6     短语规则语言

规则语言可以与正则表达式相比较，但是在令牌(单词)级别而不是字符级别上。该概念受到许多先前此类模式检测方法的启发，例如Hearst用于寻找下位词关系的模式。

使用几个规则定义每个短语类型。规则语言允许引用其他短语类型，使得重用解决方案和创建更复杂的规则成为可能。规则引擎通过按照复杂性的顺序应用规则来处理每个句子，确保参考另一规则的规则在已经应用了其所引用的规则之后被应用。每个结果被临时地保持在包含关于句子中的位置的信息的数据结构中，从而不需要找到两次结果。这使得规则引擎高效，并且不太可能成为较大系统的瓶颈。然而，由于大量的规则和/或规则太通用并且总是找到短语，规则引擎仍然可能成为一个问题。

在文本分析期间，规则语言一次被应用于单个句子。如果考虑较大的文本块，即使用几个句子，那么将选择太多的短语。因此，为了捕获分布在几个句子上的信息，需要使用其他方法。然而，本文所介绍的研究中没有使用这些方法，因此将不再进一步讨论。

3.7        短语规则语言实例

表2展示了一些用规则语言编写的规则的简单示例。左栏包含两个不同的示例短语类型“暴力”和“暴力_in_location”的规则。第一个短语类型是一个单词列表，只要列出的单词出现就进行检测，如右栏的示例句子。规则语言有几个特性，允许创建更有用的单词列表，例如使用引理代替实际的标记，以及使用部分语音标记。

短语类型“violence_in_location”包含引用“violence”短语类型和实体类型“location”的两个规则。这两条规则也允许

表2 短语规则语言的简单示例

*	短语类型和规则	示例文本
名称：暴力
1	暴力	伦敦发生了许多暴力事件。
2	拳击	伦敦有一场拳击比赛。
名称暴力_in_位置
3	(地点)！任何[*]！a(暴力)	伦敦发生了许多暴力事件。
4	(暴力)！任何[*]la(地点)	伦敦有一场拳击比赛。

左列显示简单的规则，为了方便使用规则编号。“violence_in_location”一词重用“violence”一词。右栏提供了应用规则的示例。例句的粗体部分是规则在同一行中找到的

 

对于介于两者之间的任何类型的记号的任何数目(零或更多)。因此，“violence_in_location”中的第一条规则（表2中的第3行）可以理解为：

一个地点实体，其后是任何象征的零点或多点出现，其后是“暴力”或“拳击”。

第二规则(表2中的第4行)可以类似地解释。在实践中，"暴力在位置"规则会发现太多的无趣短语，因为句子可能很长，提及一个地点不一定涉及"暴力"发生的地点。为了克服这个问题，规则语言具有用于在规则的部分之间停止包含某些标记(或短语类型)的短语的特征，并且还允许要求在当前句子内存在或不存在某些标记(或短语类型)。

在表3中，给出了"显性不真实"短语类型的规则的一些简化示例。规则显示了规则语言的表达能力：如果对构建块进行很好的思考，规则就能够检测许多不同的相关短语。把更复杂的现象分解成部分往往更容易。例如，研究中使用的“显式不真实”规则被分成几个子类型。精确的规则结构可以利用语言洞察力来完成，但更重要的是，它应该基于手头的数据，并且对分析人员有用。

分析员必须积极参与规则的创建或在团队中与专家一起工作，因为否则分析员可能会错误地解释结果。至少需要让分析师意识到规则语言的局限性。然而，试用和错误使分析员在创建发现许多相关示例的规则方面大有作为。精度可以变得足够高，而召回显然不能保证。

表3“明确无误”规则的简化例子
	短语类型和规则	示例文本
名称:u_basic
1	谎言	鲍里斯·约翰逊对斯克里帕尔撒谎
2	宣传	这都是克里姆林宫的宣传
3	散布谣言	约翰散布关于保罗的谣言
4	错误信息	反对错误信息的斗争
名称：u_obj
5	！a(人员)	鲍里斯·约翰逊对斯克里帕尔撒谎
6	la(地点)	这都是克里姆林宫的宣传
姓名：无数次
7	！a(u_basic)	那只是谎言
8	！a(u_obj)！a(u_basic)	这都是克里姆林宫的宣传
		许多英国人在今天
9	！a(u_obj)！a(u_basic)	你听到莫斯科的谎言了吗？
		我们习惯了约翰的错误信息
10	！a(u_obj)！差不多！a(u_obj)	鲍里斯·约翰逊对斯克里帕尔撒谎
		约翰散布关于保罗的谣言

左列显示了简单的规则以及规则号，右列显示了应用这些规则的示例。文本示例的粗体部分是同一行中的规则所能找到的。只有最后一个短语类型“untruth”呈现给用户。其他办法提供部分解决办法。注意，规则8-10已经应用于两个文本，每个文本都体现了规则语言的表达能力

 

3.8        新的和改进的规则

Phrasebrowser规则语言以及其他类似的规则语言的一个优点是，它们允许用户快速添加捕获感兴趣的新主题的规则。当预定义主题与特定主题不匹配且涉及时间约束时，修改规则的能力是该工具的一个重要特征。快速添加新主题的第一版与添加包含某些关键字的单词列表一样容易。虽然显而易见的目标是准确掌握与特定调查有关的一切，但通过纳入新规则，能够检索至少一定数量的所需信息，比最终导致数据不足或根本没有数据的风险更好。同时，重要的是尽量减少对噪声(例如不相关的数据)的检索，这些噪声有可能给负责解释结果的分析人员造成负担。

在当前的观察性研究中，分析人员使用一组预先定义的短语类型，无法更改或添加新的短语类型。如果他们有这种可能性，在研究了数据之后，他们可能会添加“毒药”和“实验室结果”的短语类型，以捕捉更多关于这些主题的文章。例如，他们可能很容易地继续使用预定义的短语类型来研究所写的关于那些主题中提到的人或不真实的东西。

在研究使用规则的第一版本的结果时，实现适应和扩展规则的方法相当普遍。在捕获的文本中出现的有趣短语可以添加到规则中。使用规则语言的不同特征可以修改捕捉不相关短语的规则。为此，为Phrasebrowser实现了用于规则交互开发的用户界面。此接口允许分析人员迭代地细化短语类型以捕获更多相关数据。

如果在几次调查中或随着时间的推移出现具体的信息要求，可以投入更多的精力研究所得数据，以改进信息收集。可以使用任何数量的方法，包括创建更复杂的规则或训练适合任务的机器学习模型。我们的目标总是帮助分析人员，而规则语言有助于快速完成第一次尝试。更复杂的方法(基于规则、机器学习或任何其他方法)可以总是与其它短语类型组合以允许不同的方式来研究数据。而且，每当添加新的短语类型时，许多新的组合成为可能。当需要研究新主题时，这些组合以及单独的短语类型可能是宝贵的。

3.9  Phrasebrowser 接口

图3显示了Phrasebrowser接口。这里已经使用Twitter搜索查询“Skripal，skripal”下载了1,140, 608条推文，这可以在顶部灰色区域看到。在左边（蓝色区域，标题为"短语"），选择了"Person"这一短语，在指定的人列表中选择了"BorisJohnson"（阴影线）。因此，右边的推文都包含“鲍里斯·约翰逊”。如果任何推文看起来很有趣，可以通过点击Twitter来阅读它们。

短语列表和Tweet列表通常都比在不滚动列表的情况下界面中可以看到的要长得多。在短语旁边显示的Hie计数表示短语出现的tweet的数量，并且在每个tweet之前呈现的数量表示转发的数量。

在用户界面左边的每个短语的左边有两个按钮。使用右键，用户可以绘制短语随时间出现的次数（本章没有显示）。当按下短语的左键时，应用过滤器临时删除不包含该特定短语的所有tweet，这也删除不与该特定短语共存的所有短语。在图3的示例中，所有类型的“显式不真实”短语都被应用作为过滤器，这意味着所有显示的推特都包含“Boris Johnson”和“显式不真实”类型的短语。这个过滤器在顶部灰色区域显示为“所有不真实”。

几个过滤器可以同时使用。例如，除了“All Un真理”之外，还可以继续过滤“BorisJohnson”，然后查看短语类型“Location”，以查看包含两个位置的推文中提到哪些位置

图3Phrasebrowser用户界面。顶部的灰色区域是过滤器区域，显示了Twitter搜索查询、下载tweet的数量以及任何活动的过滤器。在左边的蓝色“短语”区域中，用户可以选择短语类型（“图中的人物”），相应的短语显示在底部。右边的“Tweets”区域显示包含蓝色区域中所选短语的Tweet（由灰色区域中的过滤器过滤）。“短语”和“Tweets”区域都有过滤搜索框，允许用户在短语和推特之间搜索这些过滤器。每个过滤器也可以切换到相反的，因此，例如，只显示不包含“BorisJohnson”的推文。

如前面段落所述，图3中的示例显示了分析人员可以使用该工具的工作快照。通过“AllUntruth”过滤，他/她只能获得包含明显不真实的推文。这些推文可能很有趣，因为它们可能包含关于围绕Twitter搜索主题的声明的真实性的指控。为了对这些指控有更多的了解，分析师可以使用其他几种短语类型。例如，他/她可能会使用"一般短语"这一短语来获得内容的概览。在图3中，使用了“Person”这一短语，因此左边的短语列表显示了包含指控的推文中看到的人名。出于某种原因，分析师对“BorisJohnson”特别感兴趣，并阅读包含此名称和显式不真实的推文。TTiis可以提供一种洞察力，引导分析人员通过其他方式跟踪或使用其他短语类型来浏览数据。

4 、方法

本节描述了研究设计、观察性研究的设置和执行，以及研究时存在的语境因素。

4.1       研究设计

观察研究参与者(N=8)被均匀地分为两组。一个团队配备了通常的一套工具，另一个团队也配备了通常的工具，但是还配备了短语文本分析工具。因此，一般方法是收集数据和比较两个小组的结果。该原型工具以前曾由其工作人员在该单位使用和评价过一段时间。

其目标是寻找一组研究参与者，这些参与者可以被认为在其日常工作中使用文本挖掘工具将大大受益。在这方面，瑞典武装部队的一个军事单位同意参加研究。单元的正常任务之一是对信息环境进行情报评估。与会者包括现役军官和后备军官，以及长期和非全时士兵和平民。其目标是在教育水平、经验和性别方面组建统一的团队。小组组成是由军事单位的一名经验丰富的分析员建议的，因此他对研究设计有一定的了解，因此不允许个人积极参与观察研究。这些小组的组成情况见表4和表5。

表4 没有Phrasebrowser工具的团队

年龄	性别	军事类别	工作角色/职称	工作月	教育水平
34	男	文职人员	科长	30	B.Sc。
35	男	文职人员	分析员	24	B.Sc。
34	女	文职人员	分析员	12	M.Sc。
27	女	文职人员	分析员	15	M.Sc。

在观察研究中，指定的小组组长被征募为表中最高的人

 

表5 带有Phrasebrowser工具的团队

年龄	性别	军事类别	工作角色/职称	工作月	教育水平
26	女	文职人员	分析员	18	B.Sc。
29	男	文职人员	分析员	3	M.Sc。
37	女	准尉	分析员	24	大学
23	男	士兵	分析员	48	高中

在观察研究中，指定的小组组长被征募为表中最高的人

4.2        情报评估任务

小组的分析问题涉及心理行动。据称前俄罗斯情报官员谢尔盖·斯克里帕尔及其女儿Yulia中毒的案件被用来为情报评估问题提供一个现实的背景。这一事件发生在2018年3月4日在英国索尔兹伯里。

随着观察性研究任务围绕着Psyops场景发展，假定文本分析将主要有助于源和内容分析(见第2.2节)。为了进行源码分析，假设短语编排器可能用于搜索Psyops运动中使用的演员和作者。对于内容分析，假设短语可以帮助提取与活动相关的事实信息。提出了下列问题/任务：

1.     找出并记录与英国解释相矛盾的其他解释。

2.     找出可能成为俄罗斯影响运动一部分的解释和信息。

3.    根据上述问题/任务2，确定和记录传播原俄语信息的可能来源和途径。

这两个小组被要求产生一个情报评估，由最多三张A4纸组成。他们被指示只从瑞典语或英语信息资源收集数据。在最后评估中使用的每个信息要素都应得到充分的参考，如果可能的话，很容易检索。

4.3        研究设置

在军事单位进行实地观测研究。这两个小组住在通常用于类似情报工作的房间。观察研究是在一天内进行的，第二天又进行了额外的数据收集。

使用的Twitter数据是根据相关性抽样原则选择的[34]，使用搜索关键字"Skripal，skripal"，这些关键字被判断为具有足够的歧视性，以捕捉关于中毒事件的所有相关推文。搜索查询的结果是2018年3月19日至4月23日通过TwitterStreamingAPI下载了1 140 608条推文的数据集，这意味着数据收集在事件发生几天后开始。

为了回答研究问题，进行了两种主要类型的数据收集：(1)从参与观察研究的人员收集对软件的有用性的主观看法，以及(2)外部观察者判断其性能的客观看法，即情报评估可交付品的质量的评级。还观察了各小组开展的工作。因此，以四种不同的方式收集数据：

1.    团队成员回答了关于短语实用性的问题。

2.    要求四名主题专家，即中小企业，判断交付品的总体质量。他们要强调他们所看到的有趣的信息。这些专家来自瑞典武装部队总部的两个不同部门和一个独立的智囊团。他们担任俄罗斯分析家的经历是8年、10年、10年和23年。

3.    团队使用的所有推文都是随机排列的，并要求所有参与者判断每个推文的价值。他们根据它的感知值(1-4)及其感知的使用区域来判断每个推特，例如(1)它是否添加了迄今为止未知的新信息，和/或(2)它是否充当指向其他相关信息源的指针，和/或(3)它是否被判断为新源本身。

4.    每个小组部署一名高级研究员，观察工作流程。

4.4    观察研究执行

团队同时收到情报任务，同时他们也被给予时间准备。在这1小时准备期间，他们必须指定一个团队负责人，制定总体工作计划，并制定时间表。每个团队至少有一人需要阅读维基百科Skripal案的背景资料。

两个小组都允许使用所有可用的信息来源。两人都调查了Twitter以外的其他来源。两个团队都使用浏览器检查网站，如google.com、hashtags.org、tweetdeck.twitter.com等。他们还阅读了各国官方网站和传统新闻媒体。

5、 结果

本节介绍了在观测研究期间和之后收集的数据和所作的观测。

5.1     感知有用性

使用短语的分析师表示，他们一般都喜欢使用该工具。他们指出，在认识到的益处中，随着事态在关注领域展开，这种益处是有益的。判断该工具加快了情报任务的整个数据收集阶段。观察中有关其有用性的另一个反复出现的主题是集合的广度，该集合使分析员能够发现多种视角，并允许分析员快速获得问题的概览。一位答复者特别指出，该工具的优势之一是，它引导分析师在不受其先入之见的限制的情况下查看数据。所讲的文本分析工具的另一个有益特点是，除了从主流新闻和信息渠道更容易获得和可获得的信息外，它还增加了显然来自私人公民(及其账户)的宝贵观点。

5.2    专题专家评价

这四家中小企业通常阅读其他格式的材料，这些材料没有时间限制，他们对交付品的格式有一些一般性意见，即这些材料很短，而且编排得不好。中小型企业还指出，它们已经知道大部分信息，尽管有一些信息没有事先了解。四名专家中有三人表示，Phrasebrowser小组编写的交付品包含更多的替代解释，而且“更详细”。否则，专家们没有发现可交付成果之间存在任何重大差异。

5.3    信息碎片价值

这两个小组从总共25条独特的推文中收集信息，这些推文有助于他们的评估。带有Phrasebrowser的团队使用了15条推文，没有工具的团队发现了他们使用的10条相关的推文。收集的数据的样本量太小，无法得出任何一般性结论。然而，可以基于所收集的数据进行一些推断：

1.   非常有价值的推文（评分为4分）的比例，在团队与Phrasebrowser（50%）和没有Phrasebrowser（47%）之间几乎相等。

2.   至少有一名没有Phrasebrowser的团队成员表示，他们使用的Twitter90%带来了迄今未知的信息。Phrasebrowser团队的相应数字是67%。

3.   Phrasebrowser团队成员报告说，他们使用的推文指向其他潜在来源的程度大于其他团队。

5.4    一般工作意见

可以观察到，与会者受过良好的培训，对工作进程有共同的理解，并且按照既定的工作人员方法开展工作，这意味着他们可以迅速开始共同工作，并作为一个团队行事。关于工作程序，两个小组在如何处理任务和计划工作方面有许多相似之处。

两个小组按照大致相同的时间表规划工作，进行两个主要工作转移，中间进行临时讨论，然后在编写最终的情报报告之前进行最后的综合讨论。在计划中的临时综合讨论中，分析员们讲述了他们认为能够得出共同结论并协调进一步工作的基础。在最后的工作转变后，进行了较长的讨论，重点讨论了Skripal中毒的可能解释，作为编写结束情报报告的基础。

白板用来说明这项任务的条件，包括有关限制、情报/信息、成功因素和立即行动的可用时间和先决条件。为了共享联合工作和共同工作，使用了一个大屏幕，每个人都可以很容易地看到。午餐前，计划由谁来监督哪些来源，进一步收集信息的截止时间，以及如何记录工作。

下午，小组领导人领导了工作并主持了需要进行的讨论。讨论内容包括，例如，应优先考虑和监测哪些来源和对象，以及分析人员之间就信息收集所使用的不同拼写和同义词交流信息（“Skripal”、“Julia”和“Sergei”等词同样令人感兴趣）。在工作期间，Skripal中毒原因的替代解释与初步情报置信水平一起被列入白板。在行动期间，根据哪些来源和多少来源支持或反对各自的解释，依次更新了这些置信水平。

这两个小组被评为有系统的工作，并由胜任的组长领导。他们很好地遵循了他们的工作计划。由于严重的时间限制，两个小组都面临一些压力，但气氛平静而专业。在观察性研究中，两个小组都计划并短暂地休息15分钟，这意味着他们花了相等的时间来解决任务。

5.5   使用Phrasebrowser相关工作的观察

具有Phrasebrowser的团队选择指定Phrasebrowser最熟练的用户之一为团队领导，这导致两个操作该工具的经验有限的人受命这样做。据指出，它们没有利用软件的所有可用特性，也不能以最佳方式操作软件。否则，各小组之间的工作条件没有观察到显著差异。两个小组的成员明确努力只考虑在观察研究期间收集的信息，从而有效地压制他们先前对案件的了解。

使用Phrasebrowser的团队使用该工具找到在Twitter数据中提出的对Skripal事件的不同解释，并且在一定程度上还理解这些解释是否在某些信息操作中使用。后者显然非常困难，而且证明在分配的短时间内难以实现。团队使用该工具类似于Sect.3.9 中的描述，尝试了几个不同的短语类型和过滤器功能。一些短语类型被证明是有用的，如"一般短语"、"实体"和"明确不实"，如第3.3节所述。在其他被经验为有用的短语类型中，有人试图捕捉引证和陈述，有人试图找到指控，还有一些更具体的短语类型用于找到攻击和不同行为者之间的紧张关系的表达。

对于每个短语类型，团队按使用次数顺序查看短语。当发现一个有趣的短语时，他们有时会看一个图表，看看它随着时间的推移被使用的频率。对于每个有趣的短语，团队总是阅读这些短语出现的一个或多个推文。他们收集了足够有趣的推文，同时考虑到转发的数量。如果这些推文中有一个链接，他们就会遵循这个链接，有时会导致有用的较长的媒体文章。

6、探讨

在本部分中，讨论了测量感知效用的理论以及研究的一些有效性方面。文中还介绍了开源情报作为文本挖掘数据源的一些注释，本节最后提出了改进Phrasebrowser工具的一些建议和想法。

6.1  理论

这个案例研究旨在研究有用性，这是用户接受的一个总体问题的子集——为什么人们拥抱或拒绝计算机和计算机软件。已经表明，有许多变量影响这种接受。由Davis等[17]构思的广泛引用的技术接受模型TAM被用于对用户接受建模。Davis[16]将影响接受的变量分为两个主要类别，即感知到的易于使用和感知到的有用性。Davis[16，p.320]定义了感知的使用简易性

“一个人认为使用某一特定系统不会费力的程度”，换言之：使用某一特定系统是多么容易。相反，感知有用性被定义为“一个人认为使用特定系统将提高他或她的工作绩效的程度”[16, p.320], 后来Venkatesh和Davis[53]提出了一个扩展模型，即他们称之为TAM2，在其他发展例如社会影响过程的引入中，将感知有用性的概念划分为四个因素：工作相关性(所提议的系统能在多大程度上支持工作绩效)通过扩展模型强调了性能维度。在这项研究中，主要目的是根据这一模型调查工作相关性和产出质量方面。结果证明性方面没有得到强调，使用简易问题根本没有考虑。

6.2        研究的有效性

某些解决方案的效用或功能有效性很难衡量，因为它高度依赖上下文。一个可行的选择是将解决方案与另一个相互竞争的解决方案[34]进行比较，这是这里所期望的。一个案例研究是通过设计一项“小N”研究，它不能预期提供具有统计显著性结果的结论。另一方面，个案研究有其他优点，例如它们可以提供有价值的见解，可用作进一步研究的基础。

参与者是业务人员，他们把观察性研究任务排序为平均现实性(尺度：完全不现实/有些现实性/现实性/非常现实)，与正常任务相比，其相关性要高到非常高(尺度：有限/一些/高/非常高)。在这方面，即在现实环境中解决现实任务的操作人员，应判断结果具有高的生态有效性，

然而，对结果有效性的威胁是观察性研究参与者对该案例的先验知识，这可能会影响结果。这些团队不可避免地利用了他们对案件的背景知识，尽管他们积极避免这样做。因此，努力确定Skripal案的参与者背景知识水平。人们期望了解这一案件，但主要目的是确保两个小组总体拥有相当平等的经验。8名与会者中有5人表示，他们短暂地关注了本案的事件，3人则表示，他们密切关注这些事件（规模：根本不/短暂/密切/非常彻底）。三名与会者回答说，他们以英文以外的其他语文(例如俄文和德文)跟踪本案。

影响团队绩效的因素很多。为了在观察性研究中得出可靠的结论，必须考虑到这些背景因素，并隔离感兴趣的变量，即尽可能地隔离与文本分析工具的贡献有关的变量。在寻求分析性能形成因素以最小化人为误差和优化性能的几种模型中，Hollangel的认知可靠性和误差分析方法(CREAM)列出了这些因素。认知可靠性和误差分析方法（CREAM）模型将“共同性能条件”分为三类：人、技术和组织。从认知可靠性和误差分析方法（CREAM）框架中提取识别出的重要因子。认知可靠性和错误分析方法(CREAM)表明，十一个因素很重要：

(1)资源的可用性，

(2)培训和经验，

(3)信息质量，

(4)人机界面和运营支持，

(5)程序和方法的获取，

(6)工作条件，

(7)目标和冲突解决次数，

(8)可用时间(时间压力)，

(9)昼夜节律，

(10)机组人员协作质量，

(11)组织的质量和支持。

对团队的认知可靠性和误差分析方法（CREAM）因素进行了尽可能广泛的均衡。除了因素1(可用资源)和因素4(人机界面和业务支持)之外，给小组相同的条件，其中一个小组得到短语，另一个小组没有。这里可以注意到，配备Phrasebrowser的团队没有选择指派最熟练的Phrasebrowser用户来操作软件，这既出乎意料又令人遗憾。如果软件能够在其全部能力范围内得到更多的使用，那么团队之间也许会有更大的差异。然而，研究小组决定不干涉两个小组的内部工作流程，即分工。不可能使两个队的因素2（训练和经验）相同，但本章提出了组成该队的理由。因素8（可用时间）对两个团队来说都是一样的，但与会者指出，（平均）至少需要四倍多的时间来充分解决给定的任务。因此，有理由认为，有限的时间对两个小组的产出质量产生了消极但平等的影响。关于可能影响结果的时间的另一个方面是，tweet的数据收集仅在事件发生后的某个时间(即，大约2周)开始。

6.3    开源情报作为文本挖掘的数据源

由于情报评估的主要信息来源是开源情报，因此以开源情报为来源的几个字已经到位。前些时候发现并已经提到的缺点之一是，数据量之大可能压倒个人，甚至组织[29]，此外，即使大量数据很容易获取，但由于各种限制，例如无法访问封闭的论坛、付费服务和受密码保护的站点，许多数据仍然无法提供给从业人员，[29]还有其他法律限制，例如访问限制[29]。公开信息的另一个缺点是，信息的质量可能会有问题——毕竟，任何人都可以在互联网上无歧视地发布任何东西。

开源情报问题的一个重要部分是如何处理非结构化、软数据，并且Dragos[19]指出，除了此类数据中的源的可信度之外，还存在多个其他不确定性，例如，固有属性，诸如自然语言的模糊性以及所提供的信息中可能存在的不一致性。在较小的规模上，在统一和清理数据以进一步处理方面，诸如处理几种模糊语言和"俚语"语言的流行等实际障碍在信息组织工作阶段造成问题。

6.4   Phrasebrowser的潜在改进

在观察研究期间和之后，与会的分析师就如何改进短语提出了若干建议。这些想法中有些是与这里有关并讨论的，还有关于自观测研究以来所取得的改进的讨论，以及今后工作的一些计划。

分析家发现短语类型和短语很有用。然而，由于已经有许多短语类型可供选择，所以并不总是容易理解它们都是为了支持而创建的。分析师们本希望对短语类型有简短的解释，同时也希望了解它们的发展水平。后者可以通过显示短语类型中的规则行的数目来部分地回答。

与会者还意识到能够创建自己的短语类型的潜在好处，并要求提供这种功能。此后，已经实现了用于规则开发的用户界面的第一版本。然而，为了表现力，规则语言仍旧有些复杂，因此只有有献身精神的分析师，或许有一些计算机科学知识，才能充分发挥其潜力。

Phrasebrowser侧重于在Twitter中提供文本内容的概述。分析师们本想在接口内访问更多资源，如其他社交媒体平台、新闻媒体等。此后，已经实现了对RSS提要的部分支持。

在这项研究中，分析师们发现了有趣的推文，这些推文引导他们进入有趣的Twitter账户。他们本希望在原型中获得关于这些帐户的更多信息，并且能够在数据中搜索特定帐户。该功能可能以单独的互补原型实现。

有许多方法来过滤在Phrasebrowser原型中实现的数据，其中有些也被分析员提及，例如URL和来自帐户的位置信息。还可以在较小或更大的时间间隔内查看数据，并且查看所选短语，但是分析员本来希望这种功能得到开发。

如第3.4节所述，当数据流比计算能力太大时，Phrasebrowser不必分析每个tweet。此外，使用短语作为过滤器，如第3.3节所述，减少了正在调查的推特集。这些事实目前都在一定程度上反映在用户界面中，但分析家本希望它们更加突出。

短语及其部分原型工具集允许很大的灵活性。使用一段时间后，可能会出现某些使用模式。例如，在某些情况下，在试图探索书面内容之前，可以通过"明示真相"和特定人员名单过滤数据。如果诸如通过图像内容或用户账户元数据来过滤数据的其它方法可用，则甚至更复杂的使用模式可能证明是有用的。这种使用模式可能预先执行，使用数字仪表板呈现结果。

7、结论

本章介绍了一个案例研究的结果，该案例研究试图调查文本挖掘工具的感知有用性，以及它如何影响现实情报评估任务的最终结果(输出)的质量。然而，这种个案研究的结论应当根据研究的有限范围，例如参加者人数和整个研究设计加以解释，并视为初步。如第一节所述，本研究报告有两个研究问题：

-      Phrasebrowser是文本分析工具的特定实例化工具吗？

人们发现，以前使用或曾经使用过Phrasebrowser工具的所有分析人员都喜欢这个工具，主观上认为它有用。主要的好处是，人们认为它能够为分析人员提供一个迅速了解问题的机会。结果表明，其主要贡献是突出指向其他来源的指针，使之能够进行进一步搜索，并在较小程度上找到独特的信息和新的Twitter来源。

-      使用文本分析工具是否提高了典型分析交付品的质量？

根据研究参与者和中小企业的投入，不可能看出情报评估交付品的任何主要质量差异。对操作该工具的团队交付品的评估报告说，与没有该工具的团队交付品相比，该工具包含了更多样化和"更详细"的信息。

今后应进一步发展研究方法，并应与其他分析小组进行更多的观察性研究。具体的观察研究可以是检查Phrasebrowser工具对于情报分析正在进行的事件的有用性。还应当指出，对Phrasebrowser的价值进行了审查，涉及使用一系列其他软件，例如不使用该工具的团队拥有的软件。为了进一步加强这项研究的结果，未来的研究应该努力建立附加软件的功能，比较详细地使用。

作者：斯特凡·瓦尔加（Stefan Varga）、乔尔·布林尼尔森（Joel Brynielsson）、安德烈亚斯·霍恩达尔（Andreas Horndahl） 、马格努斯·罗塞尔（Magnus Rosell）

作者谨向参加观察研究的军事部队指挥官表示感谢，特别是向参与筹备和执行研究的热情和高度专业的人员表示感谢。这项工作得到了瑞典武装部队和欧洲联盟2020年地平线方案(第832921号赠款协议)的支持。

原文PDF及机器翻译文档已上传知识星球

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【资料】用于情报目的的自动文本分析：心理分析案例研究