AISecOps：打造可信任安全智能

随着数据的积累，算力的提升，人工智能技术的演进，语音、图像、文本处理等应用场景自动化程度大幅提升，也让我们看到安全能力向着更高水平的自动化演进的曙光。技术平台的自动化、智能化水平，也逐渐成为网络安全攻防双方角力的重点。学术界和工业界纷纷尝试基于人工智能技术的安全分析方法，包括深度学习、机器学习、知识图谱等人工智能技术，已经逐渐应用到恶意软件检测、入侵检测、欺诈检测、行为分析等安全业务和应用中。不过，几轮炒作和试错下来，火热的期盼逐渐归于平静，安全技术发展归于辛苦的爬坡过程，实践上的不尽人意倒逼参与者思考，到底什么样的智能化方案才能够与安全场景契合？安全智能如何才能赢得人的信任，融入到自动化的大潮中去？本文从实践经验出发，总结了AISecOps（智能安全运营）的技术内涵、指标层次及能力分级，进而介绍AISecOps技术发展中的关键趋势——打造可信任的安全智能。

一、AISecOps技术实践总结

1AISecOps技术内涵

人工智能+安全的技术融合给行业带来了新的期盼。无论是安全的AI还是AI的安全应用，都已成为学术、工业跨界的热点话题。AI技术在诸多单点安全技术和指定场景中，如恶意软件分类、恶意流量识别、入侵检测等，呈现出不错的效果。随着SIEM、SOAR等关键技术的产业化，安全能力不再停留在堆砌设备的阶段，数据、技术、流程与人员的“接口”被打通，安全运营逐渐得到行业各方的统一关注。而自动化安全运营，特别是基于AI技术的智能化方案，给我们描绘了美好的蓝图。

AISecOps（智能安全运营）技术正是安全运营与人工智能技术的碰撞，也是安全技术的重要发展方向之一。近年来包括Splunk、Broadcom等网络和安全巨头都在重点布局AISecOps技术。AISecOps可覆盖很大的技术范畴，笔者从安全运营与AI技术融合的角度出发，概括AISecOps技术的内涵：AISecOps技术是以安全运营目标为导向，以人、流程、技术与数据的融合为基础，面向预防、检测、响应、预测、恢复等网络安全风险控制、攻防对抗的关键环节，构建具有高自动化水平的可信任安全智能，以辅助甚至代替人提供各类安全运营服务的能力。

网络安全运营（SecOps）是一个面向业务目标、安全目标的结果导向性场景，技术能力只是网络安全运营成败的关键要素之一，而不是全部。人、技术、流程这三个要素，已成为安全运营中被广泛认可的铁三角。AISecOps在SecOps的基础上，更强调利用技术实现“数据”的利用与流动，挖掘融合不同层次中数据的价值，最终提供各任务层次的决策支持。

图1  AISecOps关键要素

值得注意的是，与AISecOps技术类似的，AIOps技术早已被广泛的关注与研究[1]，有兴趣的读者可以深入了解。AIOps的研究与落地可为AISecOps技术的发展提供宝贵的经验，但安全运营场景的特殊性，在数据、技术、交互等多层次限制了AIOps向网络安全任务的“搬运”工作，SecOps的智能化任重而道远。

2AISecOps指标层次

脱离实际的场景与任务目标很难谈技术的成败。许多AI技术的失败案例，往往是拿来主义的技术堆叠加上牵强的数据拟合，高指标的模型算法在落地时坠下神坛，原形毕露。面向不同的运营目标、不同的安全场景（例如企业内网、工业互联网、云计算等）、不同的考核对象等，需要设计不同层次的安全运营指标化体系，以指导人、流程与技术的持续优化迭代。

下图总结了AISecOps技术的指标层次，概括来看，AISecOps需要在上层指标的指导下，建立数据指标与分析指标，以评估数据利用、技术实现的有效性。安全运营团队的终极目标应服从于运营主体（政企部门等）的发展愿景，例如企业的商业目标、机构的正常运转等，以保证IT系统的安全稳定运行，服务的持续提供，数据资产的安全性等等。基于该愿景目标，指定对应的运营指标，包括威胁检测与处置相关的MTTD（Mean Time To Detect）、MTTR（Mean Time To Respond）、有效告警/事件数目、威胁事件/脆弱性影响终端数目等等。进一步，回归到技术的实现上，需关注数据与分析两个侧面的指标构建。在数据层面，包括数据覆盖率、多样性、规范化及数据间的交互性等指标；在分析层面，需要从场景覆盖率、TOPN准确率、误报率、可解释性等多方面进行评估，以刻画技术实现能力的各个维度。

图2  AISecOps指标层次

在此，我们只粗略的划分了指标体系的层次，列举不同层次中的一些关键指标。值得注意的是，在层次化指标设计的基础上，需要精细化设计指标的依赖性关系与数值化度量，以促进指标体系的有效运转。

3AISecOps能力分级

安全行业不断尝试各种基于AI技术的安全应用，例如自然语言处理技术、图像处理技术、图分析技术等等，都经过改良嫁接到安全场景中。当前，我们愈发需要统一的视图来有效透过宣传炒作审视AISecOps技术的发展水平与阶段，在统一语义下进行技术能力分级，以横纵向定位自身技术的发展层次。

从环境特性（动态不确定性）、问题特性（开放的搜索空间）、数据特性（多源异构数据融合）、交互特性（深度持续人机环境互动）、目标特性（需解决关键决策问题）等维度来看，AISecOps技术体系与自动驾驶、现代化攻防作战等技术体系较为契合。因此，我们参考自动驾驶技术的能力分级[2]，对AISecOps技术的自动化能力水平进行了初步的分级，如下所示。

图3  AISecOps自动化能力分级

按照安全运营关键任务的自动化程度，我们将AISecOps技术的自动化水平划分为L0~L5六个层次，对应无自动化到完全自动化。同时，针对安全运营技术中的关键环节，按照人工智能的经典范式“感知-认知-决策-行动”进行概念划分（基本对应经典作战决策OODA循环模型的“观测-调整-决策-执行”体系），其中感知层执行识别（如各类实体识别与分类）和检测（如威胁检测）任务，认知层执行关联（如多源数据集成分析等）、溯源（如回溯攻击路径）和预测（如预判攻击行为）任务，决策层执行评估（如风险综合评估）和制定（如策略、方案生成）任务，行动层执行响应（如部署策略）和修复（如系统恢复）任务。每个任务层次的有效性依赖于上一次层次的成熟度。以下概述AISecOps自动化能力的不同级别：

• L0（无自动化），安全运营的所有任务都由安全运营人员完成。尽管AI等分析技术能够提供一定层级的识别和检测能力，但该层次下识别与检测不对任何安全运营任务负责，属于较高层级的数据采集能力。
• L1（运营辅助），面向安全运营的运营指标，自动化运营系统开始有针对性的参与环境感知、信息加工认知及风险评估等部分子任务。在该自动化层级下，系统例行数据分析的辅助功能，不参与任何自动化行动子任务。
• L2（部分自动化），针对部分单一环境场景，自动化运营系统参与感知、认知、决策、行动的全流程子任务，与运营人员进行持续数据、知识交互。
• L3（有条件自动化），针对所有任务场景，自动化运营系统完成包括行动子任务在内的所有子任务，但在必要阶段须安全运营人员提供应答与系统接管。
• L4（高度自动化），在限定的复杂场景下，自动化运营系统按照预定的运营指标完全自动化执行，无需安全运营人员介入。

• L5（完全自动化），在所有复杂场景下，自动化运营系统按照预定的运营指标完全自动化执行，无需安全运营人员介入。

SOAR技术的落地，似乎猛然提升了安全运营等安全任务的自动化水平。实际上，SOAR技术只提供了数据、流程、技术集成的框架与接口，是AISecOps技术实现运营自动化过程中的架构基础实现。运营自动化实现的要义仍然是对数据-信息-知识层次化的分析与挖掘，以应对动态不确定性的网络空间环境与高交互的攻防对抗过程。因此，唯有夯实网络空间数据的多层级任务能力基础，才能避免搭建安全任务自动化的“空中楼阁”。

二、AISecOps技术趋势

以上，本文从内涵（是什么）、指标层次（如何评估）、能力分级（实现层次）三个方面，概括总结了AISecOps技术实践中的思考，目的在于还原现有技术方案的庐山真面目，不囿于技术泡沫造成的困惑。实际上，在安全运营的智能化技术领域中，我们整体上仍处于L1~L2级别的技术发展阶段，多个单点技术水平已经在更高层次有所突破。同时我们所收集的数据、构建的模型、优化的算法及搭建的系统，在特定场景下还未能有效符合安全运营的指标导向性需求，更不需提跨场景、自适应的更高层级运营自动化能力。因此，我们从实践的经验出发，继续探讨如何构建“可信任安全智能”，以迈向更高层级的自动化安全运营技术方案。

1安全智能技术的信任危机

图4 对机器学习的技术认知与期望

“信任”一直以来都是安全技术的中心词之一，任何目标是可靠地、可控的、自动化的、安全的技术方案，都离不开信任体系的建立。近年来的热点，“零信任”强调面向身份的信任机制，“可信计算”尝试软硬一体的构建完整的信任平台，区块链通过分布式的账本系统解决陌生信任问题。而安全应用的智能化、自动化进程中，技术的可信任特性不是原生的。相信无论是安全运营还是安全研究，从业者应该或多或少的感触到新技术的引入确实带来新的机会以及挑战。就以深度学习为代表的各类检测系统为例，模型应用过程中，首先面对的是在复杂开放的网络数据环境下准确性下降；而由于复杂模型的不可解释性，使用者仍需要再次调查原始数据进行结果确认；此外，还需要担忧所使用的模型是否会被对抗样本攻击、被信息窃取等等。从最初期待使用高性能算法去解放人工分析的生产力，最终却感叹还是专家规则和黑白名单靠谱，这让我们对安全智能化失去一些信心，甚至产生信任危机。

罗马不是一日建成的，AISecOps技术能力的构建也不能简单的复制其他业务的经验就能一蹴而就。实际上，当今最火热最成熟的人工智能技术，应用场景铺的面非常广，但是应用深度却显不足。类似智能语音服务、图像识别这类服务，是典型的智能化场景，却也只限制于较为低层次的感知层面的任务。在任何自动化过程中需要关键任务决策的，安全、经济、政治、甚至生命攸关的技术场景，如军事、金融、医疗、自动驾驶、法律判决等等，当前的人工智能技术仍难以有效胜任，只能应对场景中的部分问题，距离高度的任务自动化相去甚远。网络安全运营正是此类场景之一。可以说，当前智能化技术本身的不成熟，难以赢得人的信任，成为限制其在许多场景下深入应用的关键问题[3]。

2构建可信任安全智能

图5 智能体可信任的技术要素

无论如何，打造更可信任的人工智能，弥补人在处理海量数据过程中的先天不足，打造可信的智能“战友”，始终都是我们的终极追求。人工智能技术在网络安全中的应用，一方面，可以“直接拿来”，应用到网络安全数据分析的非核心场景和流程上，辅助安全工作，如使用自然语言处理技术分析威胁情报或者构建专家系统的对话机器人；使用成熟的图像处理技术检测恶意图片、视频等等；另一方面，需要“优化打造”，构建针对威胁检测、评估、关联、响应等阶段的核心安全智能。从构建技术信任的角度，以提升关键安全能力自动化水平为目标，可信任的安全智能体须具备以下核心技术要素：环境自适应、输出可解释、持续学习，以及面向可审计的安全合规、符合道德约束、支持隐私保护等。

• 环境自适应，指的是针对动态网络全数据的分析性能，如分类准确率、异常的检出率、误报率等等，唯有自适应才能保证任务执行的结果的稳定性，真实有效拓展人处理能力的不足；
• 输出可解释，指的是要求智能体的结果可解释，能够以人可理解的方式输出决策依据，才能建立人与机器的“沟通”闭环；
• 持续学习，建立在可解释的基础上，通过人机协同的数据、信息和知识闭环，模型能够根据人、环境、自身特性进行持续优化；
• 最后，安全智能本身应保证鲁棒性和安全性，能够抵抗针对算法、模型、系统的攻击，保证在安全攻防中的安全性与可用性，同时需提供可审计的接口，满足合法合规性，符合人类所要求的尺度限制与规范。

以上多个技术要素，互为补充又相互依赖，需要在设计之初充分考虑。正如我们更倾向选择能力强、善于沟通、抗压能力强、高尚守法的人作战友，具备以上技术要素的机器智能更能够获取人的信任，并胜任高级别的安全运营自动化任务。

三、总结

人工智能技术与网络安全技术的碰撞与融合，将改观安全行业劳动密集的现状，加快安全能力更全面、更深入的自动化。在这个过程中，安全行业的智能化探索不能止于亦步亦趋，做其他智能应用场景的跟随者、方法的搬运工。AISecOps技术中所应对的关键科学问题、安全业务的自动化的实际需求所面临的挑战终究需要高可用的人工智能技术研究工作的支撑。现阶段，需要从构建可信任的安全智能出发，研究自适应、可解释的、持续学习、安全的、满足道德和法规约束的数据挖掘技术方案，以促进网络安全运营自动化的进程。

以上是笔者在探索AISecOps应用落地中的一些思考，不成熟之处，请各位读者不吝赐教，共同探讨AISecOps技术的落地，感兴趣的读者欢迎点击阅读AISecOps系列相关文章。

数据篇：

《智能威胁分析之图数据构建》

《以ATT&CK为例构建网络安全知识图》

算法篇：

《XAI系列一：可信任安全智能与可解释性》

《XAI系列二：模型可解释性技术概览》

《Provenance Mining：终端溯源数据挖掘与威胁狩猎》

参考文献：

[1].《Market Guide for AIOps Platforms》

[2].《SAE (J3016) Automation Levels》

[3].Floridi, L. Establishing the rules for building trustworthy AI. Nat MachIntell 1, 261–262 (2019). https://doi.org/10.1038/s42256-019-0055-y

关于天枢实验室

天枢实验室聚焦安全数据、AI攻防等方面研究，以期在“数据智能”领域获得突破。

内容编辑：天枢实验室 张润滋  责任编辑：肖晴 王星凯

往期回顾

• 大数据下的隐私攻防02：身份证号+手机号如何脱敏才有效？
  
• API安全发展趋势与防护方案
  
• 神秘的sigs文件中挖据出新APT组织-Nazar
  
• 基于深度学习的物联网恶意软件家族细粒度分类研究

本公众号原创文章仅代表作者观点，不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权，严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用，转载须注明来自绿盟科技研究通讯并附上本文链接。

关于我们

绿盟科技研究通讯由绿盟科技创新中心负责运营，绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。

绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一，与清华大学进行博士后联合培养，科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。

我们持续探索信息安全领域的前沿学术方向，从实践出发，结合公司资源和先进技术，实现概念级的原型系统，进而交付产品线孵化产品并创造巨大的经济价值。

长按上方二维码，即可关注我们

本文来源于互联网:AISecOps：打造可信任安全智能