CAI：当前效果最好的开源AI辅助渗透测试工具

2025年5月9日15:51:29评论61 views字数 2064阅读6分52秒阅读模式

我们之前分析了一些讲AI辅助渗透测试的论文，开源的不多。最近看到一篇论文：CAI：一个开放的、可用于漏洞赏金计划的网络安全人工智能，（CAI: An Open, Bug Bounty-Ready Cybersecurity AI），有开源且效果非常好：

CAI 在 CTF 基准测试中的表现始终优于最先进的结果，能够显著提高解决各种类别挑战的效率——在高达3600个任务上比人类更快，在特定任务上平均速度为人类的 11倍。CAI 在“AI vs Human” CTF 现场挑战赛中斩获 AI 团队第一名，并跻身全球前 20 名，获得 750 美元奖励。除了网络安全竞赛之外，CAI 还展现了其在现实世界中的有效性，在一周内就进入了西班牙排名前 30 名，并在 Hack The Box 上跻身全球排名前 500 名，同时显著降低了安全测试成本，平均降低了 156%。

CAI的设计思想

CAI非常强调人类的交互，是个半自动系统。

如下图：CAI 的核心是专门的网络安全代理通过明确定义的交互模式协同工作的概念。该架构的人机接口层（Human Interface Layer）强调通过HITL和Turns组件进行人机协作，这两个组件管理交互流并使安全专业人员能够在必要时进行干预。这里，交互是指代理之间的顺序交换，其中每个代理通过推理步骤（LLM 推理）执行其逻辑，然后使用工具执行操作，而Turns表示一个或多个交互的完整循环，当代理确定不需要进一步操作或人工干预时结束。代理合作层(Agent Coordin Layer)说明了代理如何利用LLM进行推理，同时利用模式和交接来协调复杂的安全工作流程。执行层(Execution Layer)展示了工具如何提供具体的功能，例如命令执行、Web 搜索、代码操作和安全隧道——这些都是实际安全测试的基本功能。

图解流程：CAI 架构展示了核心组件在网络安全工作流中的交互方式。核心组件（深色框）构成了重要的框架支柱，而支持组件（浅色框）则提供了基础架构。编号的流程指示器说明了典型的操作顺序：1）人类操作员通过 HITL 与系统交互，启动用于代理协调的模式；2-3）模式通过 Handoff 协调代理交互，从而实现专业代理协作；4）代理利用 LLM 推理安全挑战；5）代理使用工具执行安全操作以完成实际任务；6-7）跟踪系统记录代理和 Handoff 活动；8）跟踪数据可供扩展程序使用以增强功能；9）工具执行结果返回给代理程序以供进一步推理和操作。

为什么要人机交互

CAI 提供了一个构建网络安全 AI 的框架，重点强调半自主操作，同时承认全自动网络安全系统仍为时过早，在处理复杂任务时面临重大挑战。虽然 CAI 探索了自主能力，但我们的结果清楚地表明，有效的安全操作仍然需要人类遥控，在安全过程中提供专业知识、判断和监督。因此，人机回路 ( HITL ) 模块不仅仅是一个功能，而且是 CAI 设计理念的重要基石。我们在不同挑战类别中的基准测试结果一致表明，在战略要点上的人为判断和干预可显著提高成功率并缩短解决时间，特别是对于复杂的加密和逆向工程挑战。通过命令行界面，用户只需按Ctrl+C即可在执行期间的任何时间点与代理无缝交互。此功能在核心执行引擎抽象中实现，在整个安全测试过程中提供灵活的人工监督。我们的 LLM 性能比较分析进一步验证了 HITL 的重要性，这表明，即使是最先进的模型，在处理复杂的安全场景时，也能从及时的人工指导中受益匪浅。