【资料】如何利用Twitter进行威胁情报搜集，提升主动网络防御的能力？

1、导言

由于网络空间的快速发展，网络安全正在成为公司、政府和军事网络的关键基础设施组成部分。促成这一增长的核心因素之一是社交网络，它是蓬勃发展的在线人口的典型例证。打击网络空间破坏性事件的方法之一是从公开来源收集网络威胁情报(CTI)，也称为开源情报(OSINT)，并将其应用于网络安全缓解技术。各种社交媒体平台和渠道也可以用于这一目的，因为在线网络安全社区在与其他在线成员分享他们的知识和发现方面非常活跃。

这项研究旨在检索社交媒体平台推特上共享的网络威胁情报。在本研究中，使用了一种从公开来源收集信息的方法，目的是寻找适用于网络安全部门的数据。为了实现这一目标，网页抓取技术与数据过滤和分析工具相结合。因此，本研究的重点是收集和分析来自社交媒体的网络威胁情报(CTI)信息。研究的最终结果是评估网络抓取是否是一种从社交媒体中提取网络威胁情报(CTI)的有效方法。

由于全球网络犯罪、社交媒体使用和在线数据量的快速增长，研究人员和网络安全官员需要利用社交媒体数据来减轻威胁的指南。本研究的目的之一是为快速发展的网络安全行业以及相应增加的网络威胁数量所带来的挑战做出贡献。因此，本研究旨在提出一种解决方案，从社交媒体上的大量数据中检索和提取网络威胁情报(CTI)，用于主动网络防御。

1.1问题陈述

如今，社交媒体是包括网络安全在内的许多领域日益增长的数据来源。由于网络安全在当今的信息社会中变得越来越重要，因此在这一领域工作的社区有办法雇用将是有益的社交媒体在网络威胁情报业务中的应用。然而，关于如何做到这一点，几乎没有提出解决方案成功提取和利用社交媒体平台上的网络威胁情报数据。本研究的目的是提供一种利用社交媒体作为OSINT工具的可能解决方案，这将有助于网络安全官员进行威胁情报。本文将通过尝试回答研究问题来探讨这个问题:“如何将Twitter用于威胁情报，以提升主动网络防御的能力?”

1.2假设

本研究论文的第三章调查了以下假设，以确定Twitter是否是社交媒体OSINT的有效工具:从Twitter上抓取的网络安全事件数据与记录的网络安全事件数据成正比。

1.3范围与限制

本研究探讨了社交媒体是否以及如何与OSINT一起用于网络防御。然而，只有Twitter平台被用于研究作为案例研究。此外，本研究仅考虑网络抓取OSINT技术，并没有涵盖该学科的所有方面。

1.4论文提纲

本文共分为四章:

1. 给出了本研究的背景和研究方法。

2. 分析评估历史Twitter数据，以判断其作为网络威胁情报(CTI)的OSINT工具的有效性。本章分析了Twitter的源码与广泛的攻击类型、侵略性威胁行为者和流行恶意软件的关系。

3.Twitter抓取防御网络安全试图提取网络威胁情报(CTI)可以帮助保护系统免受网络威胁。

4. 结束语部分论述了本研究的结论和要点。

2、研究前提

本章的目的是提供本课题的背景信息，以突出本研究的意义和相关性。第一小节在更广泛的背景下讨论了研究主题，并试图从不同的意义点来讨论这个问题。第二小节概述了本研究的方法，该方法源于对该主题的初始前提分析。

2.1背景

本节通过检查网络空间战争、网络威胁情报(CTI)、社交媒体的相关性、OSINT和数据收集技术，提供了研究主题的背景信息。通过这样做，论文的这一部分试图将主题置于上下文中并解释其含义。

2.1.1现代网络战争

人口在增加，因此，网络攻击的数量也在增加。网络安全风险投资公司(Cybersecurity Ventures)的一份报告估计，到2021年，网络犯罪造成的损失总额可能达到6万亿美元。然而，尽管网络攻击造成的损失成本很高，但实施网络攻击的业务却非常有利可图。德勤发现，一个较小的广告活动每月只需花费34美元，而回报高达25,000美元。他们进一步估计，每月花费3800美元的更昂贵的手术可能会带来高达100万美元的回报。此外，人们甚至不再需要高水平的技术技能来进行网络攻击，在暗网上可以买到各种这样的服务。CsO Online的编辑Dan Swinhoe说:“低廉的入门成本、相对容易的攻击部署以及高回报意味着潜在的威胁行为者不受技术水平的限制。”随着网络威胁所带来的费用和实施网络攻击的日益增长的趋势变得更加容易实现，不可否认的是，网络战争可能成为未来几年的关键问题。

在传统战争中，通常由政府的政治力量来决定和平或战争，但在网络战时代，这种情况发生了变化。今天，不仅政府可以在网络空间攻击其他政府，而且非国家支持的公民民兵也能够对一个国家的基础设施甚至国际公司发动网络攻击。这意味着“国家不再是国际安全的唯一主人”，战争的定义比以往任何时候都更加模糊。此外，信息作战被认为是继陆地、海上、空中和太空之后的第五个也是最新的战争维度。来自美国空军的拉里·d·威尔士将军补充说，网络空间嵌入了战争的所有领域，这强调了其影响的范围。冲突向网络空间转移的结果及其为普通公民带来的机会，进一步强调了网络威胁所造成影响的严重性。

当涉及到军事和民间分歧时，社交媒体使战场平等。Michael Erbschloe在他的书中讨论了社交媒体如何允许“世界各地的社会、文化、经济和宗教派别”以及政府之间的战争。另一本关于社交媒体武器化的书扩展了这一观点，认为这些平台正在被用作“复杂的武器系统”。虽然社交媒体已经成为对手的战场，因为它可以用于操纵和宣传，网络钓鱼和协调，但它也有很大的潜力作为打击网络犯罪的工具。本文将讨论社交媒体作为防御性网络安全工具的用途。

2.1.2网络威胁情报

威胁情报在当今组织的网络安全部门中扮演着至关重要的角色。网络威胁情报收集的信息被分析并用于网络威胁侦察、防御系统开发和安全相关决策过程。这些数据在网络安全社区受到高度重视，因为它对各种利益相关者都有好处。网络威胁情报收集可以分为三类，它们描述了所述信息的目标:

1.战术网络威胁情报的重点是减轻近期或目前的威胁。实现这一目标的主要方法之一是收集可直接应用于检测和预防系统的折衷指标。

2.战略网络威胁情报用于就组织的未来安全技术作出决定，因此侧重于新出现的威胁趋势和对手行为的分析。

3.战役网络威胁情报试图了解对手的能力、动机和协会。这种知识有助于资源分配和优先排序决定。

本研究主要研究战术网络威胁情报（CTI），因为它旨在揭示可直接应用于主动网络防御技术的数据。

为了保持一个组织的网络威胁情报(CTI)行动不断改进并确保对当前威胁形势作出适当反应，威胁情报生命周期提供了一个框架[9]，尽管步骤数量不同，但情报周期遵循逻辑结构：

1.    确定了网络威胁情报的要求，这是行动计划的必要条件。

2.    收集并处理网络威胁情报数据。

3.    分析网络威胁情报数据，以确定其是否适合该组织的系统。

4.    提出了可行的解决办法。

5.    完成的产品由利益相关者评估。

在一定限度内，除了作者对最终产品进行评估之外，目前研究中也遵循了这一过程。

2.1.3   社交媒体数据抓取

社交媒体已成为信息交流的一个广阔领域，只是规模不断扩大。社交媒体被定义为“电子通信形式（如社交网络和微博网站），用户通过该形式创建在线社区，以共享信息、想法、个人消息和其他内容（如视频）”，到2021年1月，有42亿活跃的社交媒体用户，从2020年以来增加了13.2%，此外，cisco预测，到2022年，全球每月IP流量将达到396.0EB(埃字节)，与2017相比，数据量增加了三倍。因此，可以假设，社交媒体使用的增长也促进了流量的增长。

社交媒体数据利润丰厚，研究人员将其描述为“人类行为的最大、最丰富、最有活力的证据基础”，有可能在社交媒体上发现无数社区，包括以合作和信息交流著称的庞大的网络安全社区。这表明，必须具备有效利用社交媒体作为网络威胁情报工具的手段。

从社交媒体中提取数据的方法之一是网络爬取。该过程指的是从网站复制数据并以结构化格式将其本地存储。与直接从网站流送数据而不保存数据的好处是，研究人员可以稍后返回数据以进行进一步的分析。围绕网络剪贴存在一些伦理问题，主要讨论保存数据的进一步不诚实应用、版权问题和与隐私有关的事项。然而，这项研究并不涉及这些问题，因为作者与其发布的内容之间没有关联，使得数据集匿名。此外，本研究使用相对较小的网络贴文用于学术目的。

1.1.4   社交媒体开源情报

开源情报(OSINT)是从新闻、发表的报告和社交媒体等公开来源收集的一种情报，尽管开源情报(OSINT)可以有各种应用，从个人调查到军事行动，但可以将其就业分为三个部分：

1.     社会观点和情绪分析。

2.    网络犯罪和有组织犯罪。

3.     网络安全和网络防御。

一篇文章认为，开源情报（OSINT）在不同部门变得如此流行，其原因是，与收集公共信息带来的价值相比，其风险和成本较低。开源情报(OSINT)的一个明显限制是公源中可用数据的数量构成的挑战以及寻找必要提取方法的困难。本文的研究主要集中在网络安全和网络防御方面的开源情报（OSINT），并试图找到解决上述限制的方法。

詹姆斯·M。Davitch，美国中校，情报行动司司长，强调利用公共来源收集情报的重要性，及其在战术反应中的好处。在他的文章中，他强调在情报界对开源情报(OSINT)存在偏见，因为机密信息由于其特权性质而似乎更有利，然而，开源情报(OSINT)不仅是军方使用的一种技术，在这种偏见仍然存在的情况下，但也是一个工具，主要用于甚至无法访问分类数据的圆圈。网络犯罪造成的损害代价估计为每年15%的增长率，因此，网络安全官员比以往任何时候都更需要利用现有资源开发和维护入侵检测系统，实施以情报为驱动的事件应对措施，

网络威胁情报(CTI)是用于“准备、预防和识别网络威胁，以利用宝贵资源”的侦察方法，网络威胁情报(CTI)的关键概念是情报，因为这种数据是打击网络环境中的对手所必不可少的。Scott J.Roberts和Rebekah Brown在其著作《情报驱动事件响应》中声称，为情报收集和检查分配资源的一方几乎总是处于有利地位，他们的书进一步概述了网络威胁情报(CTI)如何在网络事件响应中发挥前所未有的作用，并引出开源情报(OSINT)作为主要的情报收集方法之一。凯洛甚至甚至说“信息不再仅仅是一个权力来源，它已经变成了力量本身”，进一步强调了情报今天发挥的重要作用。这表明，开源情报（OSINT）除了是一种有效的数据收集方式外，在网络防御领域也有重要的应用。

社交媒体和网络安全社区正在崛起，这为推动将社交媒体作为网络安全和网络防御工具的重点提供了理由。此外，它还强调在社交媒体上收集情报的潜在价值，这些情报是对对手采用的各种手段。因此，本研究提出了在社交媒体中使用开源情报（OSINT）的解决方案，并试图证明这一概念在网络安全划分中的价值。

2.1.5   Twitter情报

Twitter是一个社交媒体平台和微博网站，是开源情报（OSINT）的理想研究领域，包括网络安全。其他社交媒体平台也被考虑用于这项研究，然而，经过初步的基础工作，Twitter显然在网络威胁情报（CTI）方面的潜力是无与伦比的。到2021年1月，据估计，在最常用的社交媒体平台上，有3.53亿活跃的Twitter用户，此外，根据2020年的统计数据，平均每天发布5亿条推文，因此，Twitter上的数据量很大，增加了找到有价值信息的可能性。

Twitter成为开源情报(OSINT)的伟大工具，在某些情况下甚至优于其他社交媒体平台的原因之一是它的搜索功能。Twitter有以下搜索选项：

•      单词：准确的单词，准确的短语（AND子句），任何单词的选择（OR子句），单词排除，特定的标签和语言选择。

•      人：从一个特定的帐户，答复一个特定的帐户和提到一个特定的帐户。

•      地点：从特定地理位置发送的推特。

•      日期：在特定日期范围内，在特定日期之前，在特定日期之后。

这些全面的搜索过滤器选项对于社交网络来说是不常见的，并且使得Twitter在开源情报(OSINT)领域是唯一的。Twitter还授权开发商和学术研究账户允许用户使用Twitter的API。这表明Twitter在某种程度上是为了容纳研究人员、情报收集人员和数据分析人员。由于这些不同的原因，本研究使用Twitter作为案例研究来更广泛地代表社交媒体。

3.1   广泛攻击类型

根据思科的说法，最常见的网络攻击类型是恶意软件、网络钓鱼、中间人、拒绝服务、SQL注入、零日攻击和DNS隧道攻击，这一部分研究评估了2016年至2020年在Twitter上提到这些攻击类型的数量。为了调查目的，使用了“网络安全”和“攻击”等关键词复制的Twitter数据。

使用Python，可以搜索CSV文件中提到的这些攻击类型，并对结果进行计数和汇总。图1以柱状图的形式描述了从结果中得出的统计数据，显示了数据集中每种攻击类型的提及次数，并按年分组。提及的次数不一定与推文的数量相对应，因为在一个帖子中可能会多次提到特定的恶意软件类型。

从调查结果来看，多年来，拒绝服务攻击的提及率保持相对稳定，而恶意软件攻击从2016年到2020年的增幅最大，提到DNS隧道的内容非常不重要，因此没有出现在图1中。在整个Twitter数据集中，中间人攻击、SQL注入和零日漏洞被提及的频率一直很低。根据2017年的统计，2016年的拒绝服务攻击确实高于恶意软件攻击，但并没有如图1所示的那么大。

此外，同样的统计数据表明，SQL注入攻击也相对较高，这在图1中看不到。在线信任联盟2017年的一份报告估计，当年的勒索软件攻击增加了90%，这可以解释2016年至2017年Twitter提到的恶意软件激增的原因。图1中描述的2018年和2019年的相似之处几乎反映在2021年的SonicWall网络威胁报告中。然而，同一份报告还估计，从2019年到2020年，恶意软件攻击减少了43%，勒索软件攻击增加了66%。由于勒索软件也是一种恶意软件，因此这一统计数据很难应用于本研究的结果，然而勒索软件攻击的显着增长可能解释了Twitter在2020年提到恶意软件的高峰。

总的来说，本节的结果没有定论。虽然这些年的网络威胁报告和Twitter统计数据有一些相似之处，但也存在不少分歧。在某些情况下，这些结果可能被视为反映了网络安全报告的内容，但大多数报告似乎并不一致。因此，很可能图1中所示的结果可以归因于其他因素，诸如在线人口和社交媒体用户的增长或网络安全意识的总体提高。

3.2    攻击性高级持续性威胁组

德勤称，高级持续性威胁组织(APT)是“非机会主义”和“以具有明确目标的战略性长期方式破坏组织”。本文定义了以下Advanced Persistent Threat(APT)组为最危险的组：APT1、APT41、APT35、APT33、APT38、APT37、APT28、APT29和方程组。

这一部分研究汇总了Twitter为本文收集的所有数据，并统计了2016年至2020年在Twitter上提到这些高级持久性威胁(APT)组的次数。Advanced Persistent Threat(APT)组还各自拥有它们已知的许多其他名称，这些名称在本搜索中有说明。在本研究中使用的组的同义词名称可以在附录2-AdvancedPersistentThreat(APT)组的替代名称中找到。这些团体拥有几个绰号的原因是，不同的网络威胁情报（CTI）组织以不同的计划将它们分类，而网络攻击并非总归于一个团体。

完整原文及机器翻译已上传知识星球

长按识别下面的二维码可加入星球


里面已有6000多篇资料可供下载

越早加入越便宜

续费五折优惠

原文始发于微信公众号（丁爸 情报分析师的工具箱）：【资料】如何利用Twitter进行威胁情报搜集，提升主动网络防御的能力？