威胁情报收集：人与自动化的相互依存

目前，网络安全漏洞的数量正日益增长，2022年的漏洞数量比2018年增加了近30%。随之增长的还有网络安全成本，2023年的数据泄漏平均成本高达445万美元，相较于2017年的362万美元，增幅巨大。

2023年第一季度期间，遭受勒索软件攻击的受害者共计831人，然而到了第二季度，这一数字激增至1386人。与此同时，MOVEit攻击已经导致600多人受到实际伤害，并且该数字仍在不断增加。

对于从事网络安全工作的专业人员来说，自动化威胁情报的价值是显而易见的。由于网络安全漏洞数量的激增，再加上网安专业人员稀缺的影响，自动化逐渐成为了一个显著的发展趋势。当威胁情报操作得以自动化，威胁就可以更容易地被识别并应对，同时网安人员的工作负载也能得到相应的缓解。

然而，有些组织会错误地认为，一旦威胁情报工作流程得以自动化，就无需人工的干预了。他们误将自动化与完全无需人类参与的威胁情报混为了一谈。

但事实上，即使在高度自动化的运营中，人类仍然扮演着关键的角色，甚至有时候这种角色尤为重要。正如所谓的"智能自动化关乎人类"，自动化威胁情报也不例外。

01

自动化威胁情报：简史

威胁情报并非一直以来都是自动化的，其最初是一种被动的反应性过程。每当安全问题出现时，安全运营中心（SOC）团队以及其他行业中的防诈骗团队就会手动地进行相关情报的调查与收集。他们会主动搜索暗网等资源来获取更多潜在威胁的相关信息，同时对收集到的情报进行筛选与分析，以确定与其所面临安全问题相关的内容以及攻击者的意图和攻击路径。

从那时起，威胁情报运营逐渐变得更具主动性。威胁分析师以及相关研究人员致力于在威胁给组织带来实质性伤害之前就对其进行识别及应对。同时，“预测性威胁情报”的概念也由此诞生。这种预测性威胁情报需要相关团队在攻击者尚处于入侵尝试阶段之前就对其进行识别。

然而，主动威胁情报并不等同于自动化威胁情报。主动威胁情报运营工作流程非常依赖手动操作。研究人员需要亲自搜寻威胁发起者的线索，例如找到其聚集和交流的论坛，并与之交谈。这种方法需要消耗大量的人力资源，因此难以在大规模情境下进行可行的扩展。

为了弥补这一缺陷，自动化威胁情报应运而生。最早期的自动化形式包括自动爬取暗网信息的手段，这减轻了研究人员工作负载的同时，又使其能够更加及时地发现问题。随着不断发展，威胁情报自动化变得更深入，具备了爬取封闭论坛的能力，例如Telegram群组和Discord频道，以及攻击者聚集的其他地方。此时，自动化威胁情报已经能够从开放网络、暗网和深网（包括社交渠道）中获取信息，提高了威胁情报收集与分析的效率，使其更具可扩展性和有效性。

02

解决威胁情报数据挑战

自动化威胁情报助力团队更高效运作的同时，也带来了一个新的挑战：如何管理和理解自动化威胁情报处理所产生的所有数据。这是在收集海量信息时必然会出现的挑战，正所谓“数据越多，问题越多”。

团队在处理大量的威胁情报数据时，所面临的主要问题就在于并非所有数据都与特定组织实际相关。许多威胁情报数据包含了与特定业务无关的内容，例如攻击者喜欢的动漫系列或者他们在编写漏洞利用时所听的音乐。

要解决这一问题，一个可行的办法就是引入机器学习过程，将其应用于威胁情报数据，从而添加一层额外的自动化。机器学习能够在很大程度上降低分析海量数据以及筛选相关信息等工作的难度。更重要的是，机器学习能够帮助研究人员对威胁情报数据进行结构化和标记，从而筛选出与业务相关的信息。

以Cyberint处理威胁情报数据所使用的一项技术为例，其工作原理是将客户的数字资产（如域名、IP地址、品牌名称和标志）与组织的威胁情报数据存储库进行关联，以识别相关的风险。例如，如果一个恶意软件日志中包含了"examplecustomerdomain.com"，那么就会对其进行标记并通知客户。当该域名出现在用户名字段中时，就可能意味着某个员工的凭据已经遭到了入侵。如果用户名是一个私人电子邮件帐户（例如 Gmail），但登录页面却在组织的域名上，那么则可以推断为某个客户的凭据被盗。尽管后者的风险较小，但Cyberint 会向客户发起有关这两种风险的警报。

03

人类在自定义威胁情报中的角色

在一个威胁情报收集以及分析处理工作都实现了完全自动化的世界中，人类是否就可以彻底从威胁情报的工作流程中消失呢？答案明显是否定的。有效的威胁情报离不开人工的干预，这是出于以下若干原因：

1

自动化配置

首先，自动化威胁情报程序的开发必然离不开人类。人类需要对这些工具进行配置，改进和优化它们的性能，并不断添加新功能以应对时刻变化的威胁环境。同时，人类还必须要告诉自动化收集工具关于在哪里查找数据，要收集什么数据，以及收集到的数据存储在哪里等等。

此外，为了在收集完成后对数据进行分析，人类还需要对分析数据的算法进行设计和训练。他们必须确保威胁情报工具能够识别所有相关的威胁，但同时又不能搜索得过于广泛，以至于获取无关信息并产生大量误报。

简而言之，威胁情报的自动化过程无法自发地构建与配置，需要有掌握专业技能的人类来执行这项工作。

2

自动化优化

大多数情况下，由于工程师无法一开始就预测到所有的要素，所以人们最初构建的自动化系统可能并不理想。此时，就需要人类的介入来对自动化进行改进，以推动可行的威胁情报工作。举个例子，假设一家公司的威胁情报分析软件不断发出预警提示该公司的凭证正被放在暗网中售卖。但在仔细调查后发现，这些凭证是伪造的，而非是攻击者实际窃取到的。那么这种情况就不会对该公司造成实际的威胁，而此时就需要对威胁情报自动化规则进行更新以验证凭证的真实性。这可以通过与内部身份访问管理系统或员工注册信息进行交叉核查来实现。确认了威胁的真实性之后，再发出警报，就能够大大降低误报率。

3

实时推动威胁自动化的发展

随着威胁的不断演变，组织需要采取积极主动的方法来确保自己的战略性威胁情报工具能够跟上威胁演进的速度。因此，他们需要进行必要的研究，以识别新攻击者社群的数字位置以及新型攻击策略，同时还需不断对情报收集工具进行改进与优化，以适应不断变化的威胁环境。

就拿最近的例子来讲，目前攻击者已经开始利用ChatGPT来生成恶意软件，此时威胁情报工具就需要得到相应地改进以识别这种新型威胁。另外，当新的攻击者论坛（如ExposedForums）出现时，人类研究人员会察觉到这一新的来源，并更新他们的工具，以便从这个新平台收集威胁情报。同样，当攻击者开始更加依赖Telegram等通讯工具时，威胁情报工具也需要进行重新配置，以确保它们能够爬取并分析这些新通道上的信息。

4

验证自动化

在大型组织中，安全团队通常会接收到大量的警报与威胁情报数据。尽管自动化系统能够在一定程度上帮助对这些信息进行筛选和处理，但在一些必要的时刻，还是需要人类分析师的介入来了解具体的威胁情况。

假设自动化威胁情报工具识别出了一个潜在的钓鱼网站。该网站可能在试图冒充某个被监测的品牌，它可能会将品牌的名称包含在其网站的网址（URL）中，无论是作为网址的一部分，例如子域名（如brand.example.com）、主域名（如examplebrand.com），还是作为网址的部分子目录（如example.com/brand）。这既可能是一个钓鱼网站，但同时也可能是“粉丝网站”，即由一些粉丝创建的网站，以向该品牌致敬。为了区分二者，就需要人类分析师来进行调查和辨别。

5

自动化威胁情报的优势和局限性

自动化能够有效地从开放网络、深网和暗网等多个来源收集威胁情报数据。同时还可以用机器学习的形式对威胁情报信息进行高效分析。自动化技术的使用不仅大大扩展了威胁情报的范围，还提高了数据的即时性和精确性。

然而，自动化算法需要由人类持续地编写、维护和优化。同时人类还需要对警报进行分类，排除误报并调查潜在的威胁。即使有了如今先进的人工智能解决方案，但这些任务也很难摆脱人工的干预，想实现完全的自动化，短时间还是无法实现的。

数世咨询点评

自动化技术在威胁情报获取与分析过程中完成的往往是一些程序化的工作，然而威胁情报的本质是复杂和多维的，人类所独有的经验、直觉和判断力才是该过程中不可或缺的主要驱动力。

实际上，自动化威胁情报工作的高效完成离不开两者之间的协同合作。

自动化技术加速了数据处理和威胁检测的速度，降低了人工工作量，提供的是更高的性能，而必要时的人工干预和创造性的优化改进工作则是确保威胁情报的质量、适用性以及发展性的关键因素。

* 本文为茉泠编译，原文地址：https://thehackernews.com/2023/09/the-interdependence-between-automated.html?m=1
注：图片均来源于网络，无法联系到版权持有者。如有侵权，请与后台联系，做删除处理。

— 【 THE END 】—

更多推荐

原文始发于微信公众号（KK安全说）：威胁情报收集：人与自动化的相互依存