【论文】使用Transformer-Based模型生成虚假的网络威胁情报

前言

这篇论文的主要研究内容是通过生成Fake CTI（虚假威胁情报）并成功影响威胁分析师的研判。

研究人员们通过自动生成Fake CTI 样本，并使用SPARQL对威胁分析师进行调查，发现Fake CTI 有误导威胁分析师的可能性。这是因为威胁分析师根据已有的攻击信息来建模和生成警报，而Fake CTI 的存在可能导致错误的警报产生。

论文中提到，通过使用丰富的网络安全文本对 GPT-2 变换器进行微调，可以生成仿真的CTI 样本。研究人员还指出，生成的Fake CTI 不仅可以误导威胁分析师，还可以投毒到网络安全防御系统中。

在网络安全背景下，与传统方法（如混乱度分数）相比，对潜在实际用户进行人类评估可能更具指示性。
生成Fake CTI 的主要目标是误导威胁分析师并绕过他们经常监控的情报管道。
如果生成的 CTI 不具有明显的机器生成特征（如句法错误、语法糟糕或无法理解的文本），那么它可以被认为是作为分析师看来真实的情报。

这篇论文表明，生成的Fake CTI 具有误导威胁分析师的能力，这可能对广泛使用这些技术的未来造成困扰。

研究人员

• Priyanka Ranade

• Aritran Piplai

• Sudip Mittaly

• Anupam Joshi

• Tim Finin

摘要

当前的网络防御系统，支持自动获取包含半结构化数据或文本的网络威胁情报 (CTI)，以丰富网络安全知识图谱。

潜在的风险是，虚假的CTI可能被生成并在开源情报 (OSINT) 社区或在互联网传播，对这些网络防御系统的安全知识图谱进行数据投毒攻击。对手可以使用虚假的CTI指标作为训练输入来污染网络安全系统，强制其模型学习不正确的输入，以满足攻击者的恶意需求。

关键词

网络安全 网络威胁情报 人工智能 数据投毒

关键问题

研究的整体思路和逻辑是什么？

使用开源平台（如社交媒体、暗网、安全博客和新闻源）提供的网络威胁情报（CTI），以及公司（如IBM、Virtustotal或Mandiant）收集的情报，进行分析和提取。

使用命名实体识别器（NER）基于专门培训的网络安全语料库，从CTI中提取各种网络实体。

使用基于深度神经网络的关系提取器，将网络实体对的词向量作为输入，识别可能的关系。

将提取到的实体和关系组成的实体-关系集合加入到知识图谱（CKG）中。

通过对生成的虚假CTI进行测试和人工评估，证明其可信度。

讨论虚假CTI的广泛传播对网络分析师和网络防御系统的影响，以及开发新一代网络防御系统来自动获取和提取开源CTI数据，并将其用于检测潜在攻击或作为机器学习系统的训练数据的重要性。

生成假的 CTI 的具体步骤

生成Fake CTI 的具体步骤如下：

使用训练好的 GPT-2 模型，根据输入的提示（表 I 的第一列）生成Fake CTI。

将 token 化的提示通过归一化层，然后通过注意力层的第一块。

将第一块的输出也通过归一化层输入到前馈神经网络中，并添加激活函数和 dropout。

将神经网络的输出通过 softmax 层，获得词汇表中最高概率单词的位编码。

攻击者可以将Fake CTI 作为训练数据来破坏网络安全系统。这种攻击通常被称为数据投毒攻击。

许多依赖这种数据的网络安全系统会自动从普通来源收集 CTI 数据流。攻击者可以将Fake CTI 发布到开源领域，轻松地渗透到基于 AI 的网络安全系统的训练数据集中。

这些假信息对于威胁分析师来说看起来是合法的，但实际上包含与真实数据不符的虚假信息。

如表 I 所示，可以生成提供关于攻击利用的漏洞或其后果的错误信息的可信Fake CTI。这可能导致分析师在应对威胁时产生困惑。

在自动吸收 CTI 的网络安全系统中，这还可能打破推理和学习过程，或迫使模型学习错误的输入以服务于攻击者的恶意目标。

开源 CTI 的技术也可以应用于私密数据，例如特定公司或政府机构的专有信息。在这种情况下，潜在的攻击策略很可能被归类为内部威胁，攻击者将是试图利用内部系统的员工。

为了评估生成的Fake CTI 在现实环境中的潜在影响，研究人员对一组十名网络安全专业人士和威胁猎人进行了研究。

研究人员为参与者提供了一个包含真实和Fake CTI 文本样本的评估集。参与者根据自己的专业知识对评估集中的每个文本样本进行真伪标注。

研究人员通过收集各种来源的 112 个真实 CTI 文本样本来创建评估集，并将这些文本样本截断为 500 个单词，并消除部分最后一句话。

研究人员将每个样本的第一句话作为初始提示输入到训练好的 GPT-2 模型中，并生成不超过 500 个单词的Fake CTI 示例。

研究人员将 112 个样本（56 个真实 CTI 和它们的生成假副本）分成两个单独的注释集，以确保真实 CTI 和直接假副本不包含在同一个注释任务中。因此，每个注释任务包括 28 个真实文本样本和 28 个不重叠的生成假数据样本。

研究人员将分配给参与者的每个注释任务中的数据随机化。

接下来，研究人员表明生成的Fake CTI 是可信的。研究人员使用两种方法来证明这一点。首先，研究人员评估训练好的模型预测测试数据的能力，计算困惑度得分。其次，研究人员进行人类评估研究。

研究要求一群网络安全专业人士和威胁猎人将生成的和实际的 CTI 样本标注为真或假。参与者的网络安全经验从 2 年到 30 年（在操作环境中），平均经验为 15 年。

这些虚假情报对网络安全系统有什么影响？

通过微调公开的 GPT-2 模型来生成虚假的威胁情报。研究人员没有创造虚假的网络安全新闻，而是研究了其潜在的传播方式。研究人员使用生成的Fake CTI 例子来演示对网络安全知识图谱和网络安全语料库的数据中毒攻击。
这些虚假情报可能会对网络安全系统造成影响，例如，误导分析师，使分析人员无法检测到真实的威胁。生成的Fake CTI 具有较高的可信度，可能会绕过防御系统并被视为真实信息。攻击者可以使用虚假的 CTI 作为训练数据，以破坏网络安全防御系统。
这种攻击称为数据中毒攻击，攻击者可以轻松地将虚假信息渗透到依赖于公共来源的 AI 基于的威胁情报数据集中。

研究人员通过哪些方法评估了生成的虚假威胁情报的可信度？

研究人员通过以下两种方法评估了生成的虚假威胁情报的可信度：

计算每个生成的 CTI 样本的困惑度分数，以评估精细调整模型的预测能力。

进行人工评估研究，要求一组网络安全专业人士和威胁猎人将生成的和实际的 CTI 样本标记为真或假。参与者的网络安全经验在 2 到 30 年之间（在操作环境中），平均经验为 15 年。目的是看看业内人士是否能区分真正的 CTI 和由系统生成的虚假实例。

尽管开源威胁情报有许多明显的好处，但解决和处理跨平台虚假信息的风险也日益引起关注。安全社区的虚假信息风险是威胁行为者试图通过传播Fake CTI 来破坏吸收和使用信息的系统的可能性。2021 年 1 月，谷歌威胁分析小组发现了一个针对网络安全研究人员的持续活动。各种政府支持的威胁行为者创建了虚假账户和博客文章，其中包含各种漏洞的文本网络安全信息，试图将网络安全研究人员从可靠的 CTI 来源中引开。还有研究表明，未来可能传播Fake CTI 的可能性。Maasberg 等人研究了传播虚假网络安全新闻的方法，并开发了组件对其进行分类。研究人员没有创建虚假的网络安全新闻，只是研究了其可能的传播。生成大量Fake CTI 本身几乎没有被探索，这是本文的一个关键贡献。

混淆矩阵显示了 560 个 CTI 样本（包括真实和虚假数据）的真实阳性、假阴性、假阳性和真阴性率。在总共评估的 560 个样本中，准确率（36.8%）低于随机水平。威胁猎人错误地预测了 52.5% 的样本（74 个真实样本被误判为假，220 个虚假陈述被误判为真），正确地预测了 47.5% 的样本（206 个真实样本被正确预测为真，60 个虚假陈述被正确预测为假）。尽管他们有专业知识，但威胁猎人只能准确标记 60/280 个生成样本为虚假，并将 78.5% 的虚假样本标记为真。这些结果表明，生成的 CTI 能够混淆安全专家，如果广泛使用这些技术，将带来麻烦。研究人员进一步研究了准确标记为虚假的假样本，并发现其文本中存在的语言错误比标记为真实的假样本更多。尽管大多数Fake CTI 包含了彼此无关的产品和攻击向量等实体，但研究人员发现如果句子结构显示的语言缺陷很少或没有，数据很可能被标记为真实。研究人员还注意到，缺乏足够背景的信息很可能被标记为虚假。

为了评估生成的Fake CTI 在现实环境中的潜在影响，研究人员对一组十名网络安全专业人士和威胁猎人进行了研究。研究人员为他们提供了一个包含真实和Fake CTI 文本样本的评估集。参与者用自己的专业知识对每个文本样本进行标记，是真还是假。研究人员通过收集各种来源的 112 个真实 CTI 样本（如第 III-A 节所述）创建了评估集。研究人员通过截取每个样本的前 500 个词并删除部分最后一句来预处理文本样本。研究人员选择每个样本的第一句话作为初始提示，并用精细调整的 GPT-2 模型生成不超过 500 个词的Fake CTI 示例。

这篇论文主要研究的是什么类型的数据污染攻击策略

本篇论文主要研究的是数据污染攻击策略，特别是针对 AI 系统的训练数据进行污染的攻击方法。这些攻击方法利用合成的和/或错误的输入数据，破坏 AI 系统的学习过程，从而影响其输出结果，以达到攻击者的恶意目的。数据污染攻击可以分为多种类型，如规避、功能提取、反演和毒化攻击等。本论文重点关注的是毒化攻击策略。毒化攻击通过污染 AI 系统使用的机器学习训练数据，直接破坏了 AI 系统的完整性。攻击者可以通过在训练数据中添加虚假信息，使得 AI 系统在处理真实数据时表现不佳。Biggio 等人展示了使用内核梯度上升策略生产恶意输入的方法，这些输入可以用来预测支持向量机的未来决策。攻击者还可以将虚假的 CTI 作为训练输入来破坏网络安全防御系统。这种攻击通常被称为数据污染攻击。许多依赖 CTI 数据的网络安全防御系统会自动从常见来源收集 CTI 数据流。攻击者可以将虚假的 CTI 发布到开源渠道，轻易地渗透到 AI 网络安全防御系统的训练数据集中。这些虚假信息对威胁分析师来说看起来是合法的，但实际上包含与真实数据不符的虚假信息。如表 I 所示，可以生成具有误导性的虚Fake CTI，提供关于攻击利用的漏洞或其后果的错误信息。这可能导致分析师在应对威胁时产生困惑。在自动处理 CTI 的网络安全防御系统中，这还可能破坏推理和学习过程，或迫使模型学习错误的输入以满足攻击者的恶意目标。开源 CTI 所展示的技术也可以应用于私密数据，例如属于特定公司或政府实体的专有信息。在这种情况下，潜在的攻击策略很可能被归类为内部威胁，攻击者将是试图利用内部系统的员工。通过表 I 中的Fake CTI 示例，研究人员可以轻松模拟一个数据污染攻击，其中Fake CTI 被用作训练输入，以破坏知识提取管道，如 Piplai 等人、Mittal 等人 、Gao 等人和 Arnold 等人所描述的管道。在这里，攻击者可以在 Twitter、Stack Overflow、暗网论坛和博客等多个 OSINT 来源上巧妙地放置虚Fake CTI。上述系统中描述的许多系统都包括本地爬虫以及网络安全概念提取器、实体关系提取器和知识表示技术，如词嵌入、张量和知识图谱。这些系统要么使用基于关键词的方法，要么依赖于 AI 工具来收集和处理 CTI。许多这些系统可以轻易地将Fake CTI 数据与真实 CTI 一起收集到网络安全数据集中。尤其是如果攻击者能够以一种“非常相似”的方式制作虚Fake CTI，让它看起来像真实 CTI，那么这尤为可能。然后，虚假信息将被知识提取管道所利用，如网络安全知识图谱（CKG）。污染训练数据集可以让攻击者在推理时污染各种 AI 系统的训练数据，从而获得期望的结果。

研究人员提到了一些对抗数据污染攻击的方法，例如检测语言错误和使用新颖性、一致性、来源和信任等指标。这些方法是否已经得到实际应用或进一步研究？

根据论文，研究人员提到了一些对抗数据污染攻击的方法，例如检测语言错误和使用新颖性、一致性、来源和信任等指标。这些方法已经在实际应用中得到了进一步的研究。

首先，研究人员提到了开发系统来检测生成式变换器通常产生的语言错误和口误，而人类很少犯。这是一个对抗数据污染攻击的方法。其次，研究人员提到了使用新颖性、一致性、来源和信任等指标来检测虚假的 CTI 文本。这些方法可以帮助防御数据污染攻击。

研究人员的工作做出了以下三个主要贡献：第一，数据污染攻击直接破坏了使用机器学习的 AI 系统的完整性，方法是通过污染其训练数据。这些方法依赖于合成和/或错误的输入数据。基于 AI 的网络安全防御系统可能将虚假数据纳入其训练集。攻击者通过确保系统学习虚假输入并在实际数据上表现不佳，从而主导未来的输出。第二，研究人员提到了使用核梯度上升策略来生成用于预测支持向量机未来决策的恶意输入。第三，研究人员描述了如何使用生成的Fake CTI 示例来模拟数据污染攻击，并讨论了如何将Fake CTI 用作训练输入，以颠覆诸如 Piplai 等人所述的知识提取管道。

因此，这些方法已经在实际应用中得到了进一步的研究。