并不是所有“威胁情报”都具备应用价值！

自从Mandiant公司针对网络安全事件追踪以来，越来越多的企业担忧自身是否会遭受到外部攻击，对“威胁情报”的关注度变得空前高涨，威胁情报概念也被大量的泛化。但实际上，并不是所有“威胁情报”都能在应用中发挥关键作用，只有高价值威胁情报才是企业真正需要的。而如何生产利用高质量的威胁情报，如何利用威胁情报提高企业或组织的安全运营效率，以及如何构建一个完整的威胁情报生态更是威胁情报需要发展的必经之路。笔者就此问题进行分析探讨。

Gartner给出的威胁情报定义：威胁情报是某种基于证据的知识，包括上下文、机制、标记、含义与可行的建议，这些知识与资产所面临已有的或酝酿中的威胁或危害相关，可用于对这些威胁或危害进行响应的相关决策提供信息支持。

泛化定义：在信息安全的语境下，一切与威胁相关的数据、信息以及知识。

笔者认为：通过对各种方式采集的“安全信息”进行科学的方法论研判及专家级数据运营处理之后得出的结论即为威胁情报。因此，任何未经过安全分析人员研判的原始安全信息，实际上都不能称之为“威胁情报”。威胁情报常常被企业安全人员用于辅助决策或者安全分析，所以未知来源和未知真实性的安全信息，将影响企业决策、处置的正确性及分析结果的准确性。

所以，只有高价值威胁情报，才是真正具备应用价值的威胁情报。

所谓“高价值威胁情报”，笔者认为主要包含两个维度：情报精准度与情报优先级。简单可以理解为：命中即可拦截。目前国内大部分的厂商都在关注情报的量级，在精准度层面，没有一个统一的标准。因此，如何定义情报的精准度需要一套完善的情报运营体系。只有健全的情报运营体系才能输出高价值威胁情报，通过完整的情报生产及情报运营体系， 提炼出高价值威胁情报。

情报源于信息，信息源于数据。因此，威胁情报以原始数据的形式开始于生命，我们列举一组“Unknow/Unknows”为例，首先将原始数据进行筛选和验证，此过程将会消除“噪音”和不必要的失效数据，该过程主要是将大量的数据，通过分析和筛选转化成有效基础信息。针对有效基础信息加以提炼、自动化研判分析及高级专家研判等流程，最终实现数据到信息，信息到威胁情报的加工和处理。

数据需要经过完整的运营流程加工之后， 才会转化为威胁情报。针对威胁情报数据关联分析需要涉及海量数据数据存储和检索技术、可视化分析聚类技术、人工智能技术、海量任务调度技术、海量样本异常检测技术、高对抗沙箱集群技术、样本同源分析技术、数据处理算法和建模等先进技术，用以解决威胁情报生产和运营过程中的复杂性问题。开源数据、原始数据经过完整的情报运营生产流程，才能称之为有价值的『威胁情报』。

奇安信威胁情报中心成立于2014年，是国内第一个商用威胁情报中心，经过奇安信长期生态闭环实践，已经建立了一整套完善的“高价值情报运营体系”，可以有效和稳定的提升威胁情报的准确率和召回率，能够为奇安信生态安全产品提供内置的高价值威胁情报检测能力，可为产品客户智能化提供专业评判依据及辅助安全决策等。

奇安信威胁情报运营体系架构如下图所示：

威胁情报运营体系主要包括四个阶段，即情报数据收集阶段、情报处理与运营阶段、情报管理阶段、情报消费与反馈阶段。

在情报数据收集阶段，奇安信威胁情报中心拥有国内领先的全方位多源化的数据采集能力。在信息采集阶段主要遵循输入信息高清洁度，尽量避免无用的数据；其次是保证信息的高可用，保证信息的高精度；最后保证在信息源的覆盖方面没有疏漏，且信息可信、及时。

奇安信信息采集的来源主要分为：外部情报源、内部情报源。

外部情报源主要涉及：

开源数据：即覆盖互联网公开免费可获取的各种安全数据；

网络爬虫数据：覆盖黑客组织社区、各大安全社区、社交媒体、第三方安全平台；

外部交换数据：国际安全联盟、安全社区、国外安全公司等；

商业采购数据：Googole VirusTotal、Shodan、Spamhaus等商业情报数据；

外部来源的信息，通常面临信息清洁度、精度、覆盖面等信息收集的问题。因为开放意味着公共、陈杂、不准确、等需要解决信息处理相关的问题。因此奇安信威胁情报中心通过情报预处理系统，进行接入情报的数据归并等多种数据转化机制。

内部情报源主要是针对自有产品反馈、互联网监测数据、客户反馈、奇安信安全研究院等多方位内部数据。

经过多年的沉淀，目前奇安信威胁情中心在信息采集阶段，拥有国内最大的情报信息基础数据库。云端样本库已达到200亿+，每天新增900w+样本；主防库总日志量超10PB， 每日新增200亿；漏洞数据国际国内权威漏洞及相关数据超过16万条，平均月增1500余条。URL库现有恶意网址数超过10亿条，每日新增恶意网址超过200万条，每日响应用户查询请求超80亿次，每日拦截用户访问恶意网址数超过30万次；PDNS归并后每天500亿独立域名解析记录；

在情报处理与运营阶段，奇安信威胁情报中心建立了完善的情报运营体系，主要分为情报自动化生产系统与情报分析师专家团队（奇安信红雨滴）。

情报自动生成系统数据采集阶段，首先对采集数据的格式进行规一化数据清洗以及预处理，其次对数据进行提取如：不同源的数据归并和预处理，筛选、提取、提TAG、海量样本异常检测等。同时进行数据有效关联，例如针对恶意文件类型、C2网络行为特征规则及对应PCAP等、恶意文件流行程度、白名单、网络地址解析与连接会话、基础信息、特征信息、元数据等进行有效关联。在验证与上下文过程主要针对机器学习与人工纠偏的验证方式。例如：进程访问、失陷主机类型、开放服务、主机指纹、白名单、PDNS解析等。上下文主要针对不同数据源相同数据表述、标签、行为等相关的多维度属性的界定和描述，不同层次的元数据集有其对应的不同属性集，除此之外上下文可能还会包括时间与环境、战术等相关联的信息。

情报优先级判定阶段主要通过机器学习、威胁建模、情报研判模型对输出的情报信息进行优先级定义，通过信息来源可信度、信息本身质量结合研判与验证的上下文机制，重新定义信息来源可靠且信息本身质量高的安全信息高价值威胁情报。

在情报运营阶段，奇安信威胁情报中心通过建立情报运营体系，通过机器学习与关联分析技术对情报数据进行有效挖掘，并结合情报分析师的专业研判与可视化关联分析定义情报优先级，通过情报的优先级别，最终自动化生成可机读IOC情报（失陷检测IOC、IP信誉、文件信誉等）、人读高级威胁分析报告等，并且同时可应用于大网威胁监控。

在情报管理阶段通过构建奇安信威胁情报数据原子级分发平台，提供晒线、过滤、打包、分发，综合提供情报获取、处理和输出能力，实现对内外部情报的有效分发和管理。奇安信威胁情报中心对威胁情报生产、分发的情报数据提供全生命周期管理。

在企业级本地威胁情报平台提供情报IOCs、事件情报、漏洞预警、IOT情报等统一通过规范化RestfulAPI接口进行输出。高级威胁情报档案库：攻击团伙组织、技战法、关联报告、IOCs、TTPs通过规范化标准格式输出。

基础用户：在情报消费阶段，基于内生情报多属性、多维度的关联分析与检索。提供基于出站、入站、企业内东西向横向移动等多种情报消费场景；

高级用户：根据情报消费的需求开发相应的检测、展示、关联分析系统，满足各业务部门基于内生威胁情报数据实现深度监测与分析的需求。其次，奇安信威胁情报中心针对运营阶段的高价值威胁情报通过标准格式或可机读的STIX格式进行情报分发并提供消费应用。

情报消费阶段，安全分析师或企业安全管理员同时可以依据消费情报信息进行情报反馈，将有价值和高可信的信息反馈至生产运营体系，通过对元数据进行二次研判，从而促使已消费的情报进入另一个情报生命周期，进行情报数据的二次生产及加工，最终实现情报内生的大消费闭环。

奇安信威胁情报中心通过高效的情报运营体系，不断地输出高价值情报，在威胁情报数据类型涵盖了各类机读情报和人读情报，包括失陷检测类情报、IP信誉类情报及文件信誉类情报，以及各类的高价值安全通告、漏洞分析预警、供应链安全分析、APT分析报告等作战情报。

失陷检测类情报：此情报精准度可达99.99%，其可定性、可研判、可拦截的特点可用于事件定性和决策，主要针对于网络出站行为的检测和定性，适合缺乏专业安全分析团队的中小企业在安全数据平台中使用。

IP信誉类情报：因运营商、ADSL、动态分配等IP自身特性，该类情报具备一定时效性，在企业安全运营中，需要安全分析团队结合企业自身业务和其他数据进行辅助研判。IP信誉提供了辅佐研判的重要功能，此类情报精准度与时效性较高，所以该类情报不建议直接用于决策，建议以访客画像辅助分析为主。

文件信誉类情报：可根据查询结果返回黑、白、未知、恶意类型、样本家族、关联IOC等上下文信息。在企业用户环境中，由于存在大量的定制化样本，在样本的生命周期上存在一定的动态变化问题，在场景上可对办公终端、服务器等落盘文件进行检测。针对未知类样本，建议建立黑白灰名单库中进行持续观测，或者结合仿真沙箱进行辅助研判后再进行决策。

TTP战略情报：此类情报往往出自事件追踪和分析研究，所以精准度和置信度均达100%。该类战略情报主要是面向企业CSO、CIO类监管层人员提供的行业影响、影响范围的人读情报（该类情报为人读报告非机读情报）。

针对各类海量数据和信息， 奇安信威胁情报中心利用大数据技术及专家团队，提取出高价值威胁情报并能够提供精准研判信息及丰富的关联上下文，协助用户发现真正潜在的定向高级威胁。依托大数据深度关联分析技术，以及机器学习、安全评分机制和同源分析技术等，可从海量的事件信息中识别出可能的高危攻击事件，并能够针对安全事件进行追踪溯源，提高安全事件的检测效率和精准度，锁定安全事件攻击团伙，进行可视化展示。

在威胁情报泛化的2021，企业用户到底需要什么样的威胁情报？用户毕竟不是安全专家，用户又该如何消费威胁情报？笔者认为只有具备应用价值的高价值威胁情报才是有价值的。

威胁情报最后一公里的问题也是我们大家都值得深刻思考的问题。