ChatGPT在漏洞管理中的创新应用

admin 2025年1月26日16:10:01评论16 views字数 1863阅读6分12秒阅读模式
ChatGPT在漏洞管理中的创新应用

ChatGPT能直接执行

多样化的漏洞管理任务吗?

撰文 | 周文权

编辑 | 刘梦迪

一、背景介绍

随着人工智能技术的快速发展,大型语言模型(LLMs)如ChatGPT在代码分析领域引起了广泛关注。ChatGPT展示了处理基础代码分析任务的能力,例如生成抽象语法树,这表明它有潜力理解代码语法和静态行为。然而,ChatGPT是否能够完成更复杂的实际漏洞管理任务,如下图所示漏洞管理过程中的预测安全相关性和补丁正确性,这一点尚不清楚。

ChatGPT在漏洞管理中的创新应用

漏洞管理过程

来自浙江大学的刘君茗,王文海等人在USENIX Security 2024上探讨了ChatGPT在涉及完整漏洞管理过程的6个任务上的能力,任务包括:软件缺陷报告标题生成、安全缺陷报告预测、漏洞严重性评估、漏洞修复、补丁正确性评估和稳定补丁分类。作者使用的数据集如下图所示,其研究的主要问题是:ChatGPT是否可以直接协助软件维护者在漏洞管理过程中执行多样化的任务?

ChatGPT在漏洞管理中的创新应用

数据集

二、方法与理论

作者采用了大规模数据集,包含78,445个样本,对ChatGPT进行了六个漏洞管理任务的评估。对于每个任务,研究者比较了ChatGPT与当前最先进的方法(SOTA),并调查了不同提示的影响。评估流程包括三个阶段:模板设计、最佳模板选择和大规模评估。研究者手动设计了基于现有策略的提示模板,并在训练数据集上进行了评估和完善。

ChatGPT在漏洞管理中的创新应用

评估流程

作者的研究基于以下理论:

  • 漏洞管理过程:涉及识别、分类和缓解软件产品中的漏洞。

  • ChatGPT和提示:ChatGPT是一个人工智能聊天机器人,通过提示(输入)来训练,以提供类似人类的回应。

此外,作者还提出了一种新的提示模板,通过让ChatGPT从示例中提取专业知识,并将其整合到提示中,以提高性能。提示模板如下图所示:

ChatGPT在漏洞管理中的创新应用

提示模板

一个具体的示例如下图所示,其中粉色的便是作者添加的专业知识,其与一般信息提示不同,它提供了安全错误报告的特征,在这个示例中,作者指导ChatGPT应将内存泄漏视为安全错误。

ChatGPT在漏洞管理中的创新应用

expertise提示词示例

三、实验与结果

作者使用的数据集包含11个SOTA方法的78,445个样本,总计27,284,148个标记,并使用了多个评估指标,包括ROUGE-1、ROUGE-2、ROUGE-L、召回率、精确率、F1分数和AUC值。主要结果如下图所示:

ChatGPT在漏洞管理中的创新应用

实验结果

结果表明:ChatGPT在某些任务上的表现超过了SOTA方法,尤其是在与软件文档处理相关的任务上;提示模板对ChatGPT的性能有显著影响,其中自我启发式提示在某些任务上表现突出;ChatGPT可能误解和误用提示中的信息,有效地指导ChatGPT关注有用信息而不是无关内容仍然是一个开放的问题。

四、讨论与启示

作者的实验结果表示:

  • ChatGPT在没有专门训练的情况下,就能在一些漏洞管理任务上达到或超过SOTA方法。

  • 精心设计的提示对于提高ChatGPT的性能至关重要。

  • 提供过多的信息可能会导致ChatGPT的误解和滥用。

但是,作者的研究主要关注ChatGPT在特定任务上的表现,没有全面评估其在所有漏洞管理任务上的能力,且作者也没有考虑ChatGPT在实际软件工程环境中的集成和应用。此外,尽管ChatGPT在某些任务上表现出色,但在需要深入领域专业知识的任务上可能仍然存在局限性,更重要的是,实验结果表明提示工程是一个关键领域,需要进一步研究如何更有效地设计提示。

总结

在本文中,作者探讨了ChatGPT在六大漏洞管理任务上的应用潜力,并评估了其性能。研究结果表明,ChatGPT在某些任务上能够达到或超过现有的最先进技术,尤其是在处理与软件文档相关的任务时。然而,作者也指出,ChatGPT在理解和应用提示信息方面存在局限性,这表明需要进一步的研究来优化提示设计,以便更好地利用ChatGPT的能力。

参考资料

[1] Liu P, Liu J, Fu L, Lu K, Xia Y, Zhang X, Chen W, Weng H, Ji S, Wang W. Exploring ChatGPT's Capabilities on Vulnerability Management[C]. 33rd USENIX Security Symposium, USENIX Security 2024, Philadelphia, PA, USA, August 14-16, 2024.

ChatGPT在漏洞管理中的创新应用

往期精彩文章推荐

ChatGPT在漏洞管理中的创新应用
ChatGPT在漏洞管理中的创新应用

原文始发于微信公众号(数缘信安社区):ChatGPT在漏洞管理中的创新应用

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年1月26日16:10:01
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   ChatGPT在漏洞管理中的创新应用https://cn-sec.com/archives/3676378.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息