智能安全运营:大模型工具协同与学习框架

admin 2023年8月5日11:18:30评论30 views字数 2564阅读8分32秒阅读模式
智能安全运营:大模型工具协同与学习框架


一. 大模型驱动的智能安全运营

大模型技术的快速发展,给智能安全运营技术提供了全新的交互范式、任务分析范式与思路,并从分析维度、整合维度、协同维度,为经典网络空间人工智能技术栈的升级提供了重大机遇。包括:


1.1

知识语义增强

参数规模的指数级提升,使得大语言模型具备了世界知识与常识体系,这是大模型技术发展出通用智能的关键基础与关键特性。特别是领域知识+领域常识,使得大模型能够充分的缓解困扰网络空间人工智能发展的一个核心难题——数据模式与安全语义的鸿沟问题。这是传统小模型(LLM之外的经典机器学习、深度学习、知识图谱等技术)所难以解决的。


1.2

逻辑分析增强

小模型技术主要擅长统计分析问题。限于其实现原理,大部分技术手段所提供的能力在于拟合学习。然而,网络空间安全的任务多元性、环境开放性,导致经典的拟合学习能力是受限的而且极易衰减的。基于大规模参数基础及指令学习等核心框架,大模型已具备逻辑分析基础,为少样本、零样本的学习场景提供了支持。


1.3

交互决策增强

网络空间对抗的主体终归在于人。大模型技术大幅推动了语言模型的交互水平,从交互范式上,能够较为彻底的将人从指令学习中解放出来,通过自然语言统一安全能力指挥的界面,大幅降低交互成本、提升交互体验,对于网络空间安全运营这种数据、工具、文档、目标复杂的分析场景来说,是重大的技术革命。


不限于以上核心能力的提升,大模型技术将从多维维度充分推动网络安全运营全流程的自动化升级。

二. 大模型工具协同与学习框架

大模型可以在网络安全运营中提供很多关键任务支撑的角色,如告警研判分析、报告摘要总结、响应执行建议、安全知识问答等等。从实现LLM+SOAR的统一分析界面与协同框架来看,大模型作为交互界面+决策大脑的角色更为关键。语言模型(例如ChatGPT)作为连接多种工具或AI模型(例如Hugging Face中的模型)解决复杂任务的一个典型框架——HuggingGPT框架如图1所示[1]。


智能安全运营:大模型工具协同与学习框架

图1. HuggingGPT框架[1]

从核心任务来看,将大模型作为交互中枢,实现工具协同,主要需要实现以下几个阶段的核心能力:

    1. 任务规划阶段:分析用户请求,解析其中的任务目标、任务参数、任务条件等,完成整体的任务规划,包括具体的子任务序列、任务依赖关系等等。

    2. 工具选择阶段:从每项任务的候补工具池、模型池中,选择满足任务要求的工具,形成工具链。

    3. 任务执行阶段:按照任务规划,协同调用工具集合完成子任务,收集执行结果并传递关键上下文。

    4. 响应生成阶段:整合所有工具的执行过程与结果,形成解决任务目标需求的完整结果。


从功能角色来划分,典型的工具协同和学习范式主要包括几个核心逻辑单元,即工具集(Tool Set)、环境(Environment)、控制器(Controller)以及感知器(Perceiver),如图2所示[2]。

智能安全运营:大模型工具协同与学习框架

图2. 工具学习框架[2]


三. 总结与期望

大模型可以在网络安全运营中提供很多关键任务支撑的角色,如告警研判分析、报告摘要总结、响应执行建议、安全知识问答等等。从实现LLM+SOAR的统一分析界面与协同框架来看,大模型作为交互界面+决策大脑的角色更为关键。语言模型(例如ChatGPT)作为连接多种工具或AI模型(例如Hugging Face中的模型)解决复杂任务的一个典型框架——HuggingGPT框架如图1所示[1]。

可以看到,ChatGPT等商用或开源大模型的插件系统逐渐完善,AutoGPT、AgentGPT、HuggingGPT等诸多大模型驱动的开源工具协同与学习框架已成为大模型领域的关键热点,Microsoft Security Copilot、Google Sec-PaLM的核心能力,实际上也是基于大模型的工具学习范式。能否解决实际安全运营中关键痛点,才是检验大模型技术实战能力的关键衡量标准。值得注意的是,大模型是智能安全运营技术体系中的核心能力之一,而不是全部。统一消歧的数据图谱、完整完备的工具支撑体系、专用专精的“小模型”库以及支撑协同调度的统一执行框架,这些典型安全分析能力仍然是发挥大模型安全价值的关键基础。


参考文献

[1] HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face

[2] Tool Learning with Foundation Model

[3] https://github.com/Significant-Gravitas/Auto-GPT

[4] https://github.com/reworkd/AgentGPT

内容编辑:创新研究院 张润滋
责任编辑:创新研究院 舒展

本公众号原创文章仅代表作者观点,不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权,严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用,转载须注明来自绿盟科技研究通讯并附上本文链接。

关于我们


绿盟科技研究通讯由绿盟科技创新研究院负责运营,绿盟科技创新研究院是绿盟科技的前沿技术研究部门,包括星云实验室、天枢实验室和孵化中心。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。

绿盟科技创新研究院作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一,与清华大学进行博士后联合培养,科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。

我们持续探索信息安全领域的前沿学术方向,从实践出发,结合公司资源和先进技术,实现概念级的原型系统,进而交付产品线孵化产品并创造巨大的经济价值。

智能安全运营:大模型工具协同与学习框架

长按上方二维码,即可关注我


往期回顾:

《【攻击意图评估:二】AI不好用?融入专家知识的告警筛选实战》

《【攻击意图评估:一】业界难题?谈自动化筛选关键告警的可行性》

《AISecOps - XAIGen技术解析:模型知识抽取促进模型可信任》

《AISecOps:打造可信任安全智能》

《AISecOps:基于动态图的威胁分析》

《AISecOps:从DARPA Transparent Computing看终端攻防》

《AISecOps:基于异构图的威胁分析技术》

原文始发于微信公众号(绿盟科技研究通讯):智能安全运营:大模型工具协同与学习框架

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年8月5日11:18:30
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   智能安全运营:大模型工具协同与学习框架http://cn-sec.com/archives/1935013.html

发表评论

匿名网友 填写信息