【资料】CTI View：ATP威胁情报分析系统

今天给大家推送中国工程物理研究院的几位专家撰写的论文《CTI View：APT威胁情报分析系统》

美国国防部和美国空军首次提出了高度隐蔽的未知威胁。它的本质是目标攻击，它使用更先进、最隐蔽的攻击手段对特定目标进行长期、连续的网络攻击。高级持久性威胁(APT)是一种隐形威胁行为人，通常是一个国家或国家赞助的团体，获得对计算机网络的未经授权的访问，并且长时间保持未被发现。

自2009年12月“极光行动”攻击谷歌事件曝光以来，以高级持久性威胁(APT)为代表的网络空间高隐蔽和未知的威胁日益猖獗，并显示出国家之间对抗和竞争的趋势。

由于流量小，这些威胁隐蔽性强，日常报警中的误报和漏报现象十分普遍，使保安人员厌倦了处理。传统的安全措施，如防火墙、入侵防御系统(IPS)和入侵检测系统(IDS)，难以防止网络空间中高隐蔽和未知威胁的攻击。此外，伪装成正常工人的恶意工人可能注入假数据，以干扰数据分析的准确性。为了保护系统免遭此类攻击，安全专家提出了网络威胁情报(CTI)和危险指标(IOC)，以便在系统遇到可疑威胁时发出预警。

网络威胁情报(CTI)是安全研究人员记录的关于过去或目前的网络威胁或安全事件的基本信息。2014年，Gartner《安全威胁情报服务市场指南》将网络威胁情报(CTI)定义为：威胁情报是基于证据的知识，包括背景、机制、指标、影响以及可采取行动的建议，涉及资产现有或正在出现的威胁或危害，可用来为决定该主题对该威胁或危害的反应提供信息。简而言之，威胁情报是对企业和机构潜在或直接损害的信息收集。它可以帮助企业评估网络空间的当前动态和趋势，并估计它们将面临的威胁，这些威胁可用于在不久的将来作出决定。

危险指标(IOC)是安全人员在面对网络威胁时获得的具有高度可信度的样本信息和证据，用来描述攻击者在先进持久威胁(APT)领域的恶意活动。通常，高级持久性威胁(APT)威胁情报文本分析期间遇到的危险指标(IOC)通常包括散列(示例文件的散列值)、IP(IP地址)、域(域类似于IP，但需要注册付费)、Mac(主机特性指示恶意示例中攻击者主机的特性)和电子邮件(电子邮件地址)。使用危险指标（IOC）来分析高级持久性威胁（APT）威胁情报文本，使我们能够构建一个总体视图，通过相关度量跟踪敌人或攻击活动，从而更深入地了解网络环境中正在发生的事情。目前，网络空间安全领域的人们已形成广泛共识，即威胁情报驱动网络安全防御、及时情报共享和准确的情报分析是有效应对网络威胁的关键。更直观的威胁信息的共享和利用是一种即时高级安全保护策略。通过主动感知现有或潜在的网络威胁，可以限制攻击的时间和范围，可以大大缩短威胁的响应时间，并且可以改变攻击和防御过程中的不对称情况。

然而，随着越来越多的企业关注安全问题，全球标准或非标准的网络威胁情报(CTI)数据正在迅速增长。当人们利用这些网络威胁情报(CTI)数据积极防御高隐性和未知威胁时，由于这些数据在威胁情报领域大量涌现，出现了三个主要问题：

(1)威胁情报数据的来源广泛，使分析人员筋疲力尽。

(2)威胁情报类型复杂，组织混乱，应用场景复杂。

(3)在互联网时代，信息生成迅速，威胁情报更新迅速。

虽然STIX(结构化威胁信息表达)和CAPEC(通用攻击模式枚举和分类)等框架极大地促进了安全研究人员对威胁情报的共享，解决了误区问题，但在分析威胁情报和提取所需的威胁描述时，仍需要大量的人工检查；分析员对威胁情报分析的速度远非威胁情报生成的速度。因此，近年来，大多数安全研究人员和社会部门都专注于从描述攻击事件的公共来源自动提取危险指标(IOC)来分析威胁情报。

其中，廖艾开发了一个名为IACE的系统，该系统将提取危险指标(IOC)的任务建模为图形相似性问题。如果危险指标(IOC)项具有类似于训练集的图形结构，则将其识别为危险指标(IOC)。这使得IACE能够从网络威胁情报（CTI）中自动提取危险指标（IOC）并捕捉它们的上下文；龙*等人采用深度学习技术，将端到端神经网络模型应用于折衷指标自动识别，从网络威胁情报(CTI)中自动识别危险指标项目，取得了良好的效果。赵*等人开发了一个名为TIMINER的系统，该系统将正则表达式、命名实体识别技术和领域特定句法依赖相结合，从网络安全文本中提取危险指标(IOC)条目。与IACE相比，该方法在准确度和覆盖度方面均表现出较好的性能。

然而，在与高级持续威胁(APT)相关的场景中，与攻击者相比，防御者总是处于相对被动的状态，这种情况的根本原因是攻击者和防御者之间的信息不对称。攻击者可以很容易地获得防御者的身份信息，并且随着通信技术的发展，攻击者能够获得防御者的信息越来越容易暴露在攻击者的视图中。此外，在5G相关通信中，最终用户的实际身份难以为匿名或别名。只要攻击者随便更改IP地址或域名，可以以低成本生成新的危险指标(IOC)，即使防御者拥有黑客或攻击组织的先前攻击生成的所有危险指标(IOC)，他也不能通过这些危险指标(IOC)来避免所有风险，更不用说通过危险指标(IOC)进行归因。尽管危险指标(IOC)可以帮助我们制定更好的安全政策，并且危险指标(IOC)的信息量也可以影响最终的保护效果，但危险指标(IOC)仍然具有以下缺点：

（1）危险指标（IOC）不能表示攻击者如何与受害者系统交互。

（2）危险指标(IOC)只能集中在攻击过程的局部分析，不能建立完整的攻击链，更不用说挖掘攻击背后的组织者和执行者，从而导致对攻击行为的错误检测。

­（3）危险指标（IOC）项相关性低，独立性高，不能为追踪提供强有力的支持。

为了解决多源异构威胁情报和分析难的问题，根据实际需求，结合威胁情报描述的与威胁相关的实体、句法和上下文信息，面向威胁情报文本，采用多种自然语言处理方法，设计了一个威胁情报实体提取分析系统：CTI View。

CTI View的主要贡献概述如下：

(1)设计了一种基于网页文本识别技术的网络威胁情报文本提取器。由于不同来源的共享Advanced Advanced Persistent  Herance(APT)报告文本易于获取，解决了使用爬虫器时对非标准HTML的适应性差的问题，特别是对一些具有反爬虫策略的网站，CTI View很容易绕过其反爬虫策略获取网页文本。­

(2) ­设计了一种基于互感器（BERT）双向编码器表示的威胁实体标识，可以有效地提取网络威胁情报文本中的威胁实体。更具体地，我们收集和分析120个描述高级持久性威胁(APT)威胁事件的安全文本，使用CTI View来提取文本中描述的攻击者、漏洞、地区、行业和运动。实验结果表明，该方法的准确率高于72%。

(3)­综上所述，为了提高网络安全的防御能力，CTI View重点关注网络威胁情报（CTI）的利用，采用不同的方法对网络威胁情报（CTI）文本进行综合分析，为威胁分析不同阶段的安全研究人员提供强有力的数据支持。

论文的其余部分如下：

第2节回顾了相关工作。

第3节总结了CTI View的总体框架，然后介绍了框架中的各个模块，重点是第3.4节引入了基于BERT的威胁实体标识。

第4节对所提出的方法进行了实验验证。

第5节总结。

上述原文及机器翻译已上传知识星球

长按识别下面的二维码可加入星球


里面已有6000多篇资料可供下载

越早加入越便宜

续费五折优惠

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【资料】CTI View：ATP威胁情报分析系统