ChatGPT 4可利用87%一日漏洞

近年来，随着 ChatGPT 和其他大型语言模型 (LLM) 的广泛使用，网络安全已成为人们最关心的问题。在众多问题中，网络安全专家想知道这些工具在发动攻击时有多有效。网络安全研究人员 Richard Fang、Rohan Bindu、Akul Gupta 和 Daniel Kang 最近进行了一项研究以确定答案。结论是：它们非常有效。

ChatGPT 4 快速利用一日漏洞

在研究中，团队使用了 15 个在现实生活中发生的单日漏洞。单日漏洞是指从发现问题到创建补丁之间的时间，这意味着这是一个已知漏洞。案例包括存在漏洞的网站、容器管理软件和 Python 包。由于所有漏洞都来自 CVE 数据库，因此它们都包含 CVE 描述。

LLM代理还具有网页浏览元素、终端、搜索结果、文件创建和代码解释器。此外，研究人员还使用了非常详细的提示，总共有1,056个标记和91 行代码。提示还包括调试和日志记录语句。但是，提示不包括子代理或单独的规划模块。

团队很快发现，ChatGPT 能够以87%的正确率利用一日漏洞。所有其他测试方法（包括 LLM 和开源漏洞扫描程序）均无法利用任何漏洞。GPT-3.5也未能成功检测漏洞。根据报告，GPT-4仅在两个漏洞上失败，这两个漏洞都很难检测。

报告解释道：“对于 LLM 代理来说，Iris Web 应用程序导航极其困难，因为导航是通过 JavaScript 完成的。因此，代理会尝试访问表单/按钮，而无需与必要的元素进行交互以使其可用，从而阻止其这样做。HertzBeat 的详细描述是中文的，这可能会使我们部署的 GPT-4 代理感到困惑，因为我们使用英语作为提示。”

ChatGPT 的成功率仍然受到 CVE 代码的限制

研究人员得出结论，成功率高的原因在于该工具能够利用复杂的多步骤漏洞、发起不同的攻击方法、编写漏洞代码以及操纵非 Web 漏洞。

研究还发现 Chat GPT 在查找漏洞方面存在重大限制。当被要求在没有 CVE 代码的情况下利用漏洞时，LLM 无法达到相同的水平。没有 CVE 代码，GPT-4 的成功率只有 7%，下降了 80%。由于存在如此大的差距，研究人员退后一步，找出了 GPT-4 确定正确漏洞的频率，即 33.3%。

研究人员写道：“令人惊讶的是，我们发现带有和不带有 CVE 描述时所采取的平均操作数仅相差 14%（24.3 次操作 vs 21.3 次操作）。我们怀疑这在一定程度上是由上下文窗口长度决定的，这进一步表明规划机制和子代理可以提高性能。”

对未来一日脆弱性的影响

研究人员总结称，他们的研究表明，LLM 有能力自主利用一日漏洞，但目前只有 GPT-4 能够达到这一水平。然而，令人担忧的是，LLM 的能力和功能在未来只会不断增强，使其成为网络犯罪分子更具破坏性和更强大的工具。

报告总结道：“我们的研究结果既表明了出现新能力的可能性，也表明发现漏洞比利用漏洞更困难。尽管如此，我们的研究结果强调了更广泛的网络安全社区和 LLM 提供商需要仔细考虑如何将 LLM 代理集成到防御措施中以及它们的广泛部署。”

原文始发于微信公众号（河南等级保护测评）：ChatGPT 4可利用87%一日漏洞