【资料】情报分析中的人机协作:专家评价

admin 2023年5月25日02:11:57评论31 views字数 2544阅读8分28秒阅读模式

【资料】情报分析中的人机协作:专家评价

本文说明了新颖的人工智能方法如何提高情报分析师的表现。这些分析师的目标是弄清楚(通常是相互矛盾或不完整的)信息的意义,权衡用于解释观察到的情况的相互竞争的假设。分析人员可以使用许多可视化分析工具,这些工具支持信息和收集的时间和/或概念结构,并支持对替代假设的评估。

作者认为,目前还没有工具或方法允许分析人员将信息的记录和解释结合起来,而且对软件工具如何促进假设形成过程的理解也很少。在确定了这些需求之后,团队与专业情报分析人员合作开发了ClSpaces(协作情报空间)决策支持工具。CISpaces结合了多种基于人工智能的方法,包括论证理论、众包贝叶斯分析和来源记录。

ClSpaces能够通过基于论证的推理、来源分析和众包促进对不同类型证据的解释,从而为分析师提供支持。团队与情报分析人员进行了一项实验分析,其中突出了三个关键点。
(1) ClSpaces中实现的新颖、原则性的人工智能方法提高了智能分析的性能。
(2)在作为研究原型设计时,分析人员将其与他们现有的软件工具进行基准测试,结果表明有意在分析人员的日常活动中采用cispace。
(3)最后,评估突出了ClSpaces的一些缺点。然而,这并不是因为支持该工具的技术,而是因为它在输入和输出格式方面缺乏与现有组织标准的集成。
因此,团队与情报分析师的评估表明,基于最先进的人工智能技术的综合工具构建对理解复杂情况的过程可能产生的潜在影响,以及这种工具如何帮助人类集中精力识别更可信的证据解释。

【资料】情报分析中的人机协作:专家评价

情报分析员的工作是在收集到的证据存在重大漏洞和不一致的情况下构建连贯的假设,并将其清晰地呈现给决策者,为他们的干预行动提供依据。

目前支持分析员日常工作的自动化系统(几乎)只专注于问题的两个方面。首先是数据收集、汇总和可视化。这类工具帮助分析师整理、检查和与大型数据集互动,并支持识别关系,例如通过链接分析。最近,能够让公众贡献信息的众包工具也被引入,以整合更传统的情报收集方法。工具关注的第二个问题涉及列出和权衡替代性假设,通过对竞争性假设的自动分析。这种分析要求从现有的证据中识别出所有的替代性假设,如果由贝叶斯网络等自动推理器辅助,这些工具还要求对每个(汇总的)证据给予一个权重或确定性程度。

然而,我们观察到,在支持分析员在检查数据之后、确定假设之前所进行的过程的技术方面存在着差距。分析师在这里的任务涉及到以一致的方式构建证据,以选择合理的假说。目前,这项工作是手工完成的,仅由通用电子表格和文本处理工具支持。我们在这项研究中试图解决的挑战是了解自动推理如何能够在这个证据推理过程中最好地补充人类的专业知识。

目前,有经验的分析员使用人工方法的组合来确定可信的假设,以评估可用的证据,确定哪些信息是可信的,并了解可能需要哪些额外的证据或提出哪些问题来确定可信性。这项活动可能是时间性的,以便能够有效地了解情况,这对个别分析员来说是重大的挑战。分析员必须考虑的信息的数量和种类非常多,而且,证据可能是不可靠的或相互矛盾的,重要的信息可能会丢失。合作可以用来提供同行审查,分担分析的负担,帮助验证结论。然而,这样的合作需要分析人员用一个共同的模型和一致的世界观来工作,而这在现实世界中很难实现。

当数据是多样化的,来自不同的来源时,分析员必须推理出导致索赔的证据的可靠性,如证据是如何、在哪里、何时、由谁收集和分析的信息。在这个过程中可能会无意中引入认知偏差,使分析者无法得出准确的结论。这种解释证据的过程在很大程度上依赖于分析人员的专业知识和培训,而且明显缺乏方法来减轻形成假设时的高认知负担。此外,人们普遍缺乏对假设形成过程的理解,因为它通常不被记录下来,这使得高级分析员很难将他们的分析技能传授给受训者。由于处理数据和表达推理模式需要大量的知识工程工作,分析过程对自动化也有阻力。

在本文中,我们说明了基于论证理论、众包和出处推理相结合的新型人工智能方法,如何有助于提高情报分析的性能。现有的系统主要关注信息的呈现和收集,而我们与情报分析人员共同设计了我们的软件工具--协作情报空间(CISpaces),以关注围绕使用可推翻的推论模式或论证方案从现有证据形成假设的感知活动。我们使用技术接受模型(TAM)对CISpaces进行了正式评估,证明情报分析员从他们的感知活动中得到的工具支持中受益。

因此,本文的贡献是多方面的: 

- 在第3节中,我们为进一步共同设计人工智能驱动的工具提供了一个蓝图,展示了如何管理这个过程以获得成功的结果。

- 在第4节中,我们扩展了我们的初步会议论文,以说明为实现共同设计的目标而利用和扩展的各种人工智能技术之间的微妙相互联系。特别是: 

- 我们推进基于论证的推理工程,以确定可信的假设作为可接受的论据集; 

- 我们展示了如何使用贝叶斯分析法预先分析的众包信息进行论证; 

- 我们在论证过程中嵌入了出处分析,以建立假设的可信度。

- 在第5节中,我们提供了实证证据,证明情报分析员从CISpaces提供的正式论证理论、众包支持和出处记录的独特混合物中受益,这是第一次在一个基于论证的系统中使用技术接受模型(TAM)。

我们的结果表明,CISpaces中实施的新颖的、有原则的人工智能方法可以提高情报分析的性能。尽管CISpaces是作为基础研究原型设计的(技术准备水平3 - TRL 3),但在评估过程中,分析人员将其功能的质量与他们日常使用的商业系统进行了比较:我们在第6节与它们进行了比较。

我们收集到的证据表明,CISpaces中实施的人工智能方法可以对终端用户采用CISpaces的意图产生行为影响。分析师们的评价强调了CISpaces的缺点,这些缺点主要来自于工具和数据源之间的接口以及用户界面的各个方面(而不是基础的人工智能方法)。因此,我们的结论是,为了让情报分析界成功采用,CISpaces需要与现有的信息输入和输出的组织标准进行数据整合。这些以及其他工程和可用性方面的问题,虽然对商业化至关重要,但超出了本文的范围。

【资料】情报分析中的人机协作:专家评价

【资料】情报分析中的人机协作:专家评价

完整原文及机器翻译已上传知识星球

    长按识别下面的二维码可加入星球

    里面已有6000多篇资料可供下载

    越早加入越便宜

    续费五折优惠

    【资料】情报分析中的人机协作:专家评价

    【资料】情报分析中的人机协作:专家评价


原文始发于微信公众号(丁爸 情报分析师的工具箱):【资料】情报分析中的人机协作:专家评价

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年5月25日02:11:57
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   【资料】情报分析中的人机协作:专家评价http://cn-sec.com/archives/1758745.html

发表评论

匿名网友 填写信息