洞见RSAC 2024｜基于大模型的欺诈智能体该如何防护？

Agent智能体是一种能够感知环境、进行决策和执行动作的智能实体，AI Agent智能体通过结合大语言模型与规划、记忆和工具等关键模块来执行任务。大模型充当了整个系统的中枢大脑；规划模块则负责分解任务、制定行动计划，以及检查、监督和改进计划；记忆模块负责存储上下文信息，管理智能体的历史行为和经验等；工具使用模块则是智能体的“双手”，能利用外部资源或工具执行任务。

AI Agent通过上述模块协同工作，能够处理从简单到复杂的各种请求，针对目标任务独立思考、获取知识、自主研判并作出行动，从而解决需要深度分析和多步骤操作的问题。然而，对于怀有恶意的攻击者而言，这些Agent可能会成为威胁他人和整个社会的工具，例如利用Agent来传播虚假信息、从事欺诈活动和网络漏洞攻击。

传统的AI辅助攻击多数是以工具形式来机械地完成人类指令或者与人类协同工作，比如通过机器学习技术识别操作系统指纹；利用深度学习生成恶意代码来提高免杀和生存能力；基于机器学习生成高仿真钓鱼邮件等。基于AI Agent的攻击方式不再是某一个单独的攻击工具，而是模拟真正的用户去规划协调各种不同的工具，组建团队去完成更加复杂庞大的攻击任务，同时学习针对检测模型和风控策略的绕过方法。AI Agent攻击表现出强大的自主性和隐匿性，对网络空间安全构成了严重威胁。

此前来自伊利诺伊大学香槟分校的研究团队设计了漏洞利用的AI Agent，让GPT-4模型化身黑客秘密入侵网站，结果表明大模型通过学习漏洞上下文信息，并使用一系列工具完成漏洞利用攻击的成功率高达87%。

针对交易市场的欺诈行为是一种由个人（或有组织的犯罪集团）通过交易平台所实施的非法行为，例如进行各种未经授权的活动来操纵系统，欺骗企业和消费者从而获取隐私信息并牟取利益。这类欺诈行为的目标包括零售业、电商平台和金融机构等，欺诈手段存在多样性，比如账户冒用、信用卡盗用和灰色市场欺诈等等。

在2024 RSA 大会上，Spec团队介绍了一起新型欺诈攻击，攻击者利用AI Agent模拟真实的用户行为，比如滑动页面、点击按钮等真实操作模拟浏览商品和购买动作，使用盗用的信用卡或预支付借记卡（潜在的“不义之财”）结账，让交易看起来真实可信从而骗过安全检查，最终导致受害企业面临900万美元的损失。

攻击者通过AI Agent构建虚拟的欺诈团伙，即“欺诈智能体”，相较传统工具式AI机器人的优势在于：

• 基于简单的prompt，能够创造性地完成任务；

• 完美管理身份数据、网络代理、支付方式和设备信息；

• 使用敲击、按键和滑动等动作模拟真实的用户体验。

Spec团队的议题介绍了一款“All-in-One”一体化欺诈智能体平台，用户只需登录便能轻松操作，比如支持用户添加Agent和创建任务，在下发任务后在平台侧可以看到整个Agent的运行过程和状态，欺诈智能体主要由以下三个子Agent组成：

实时观察目标商家动态，如寻找库存，监控价格变动和系统故障等。

模拟人类行为将商品加入购物车或从购物车中移除。

为保证交易成功，通常会收集Cookies，在发货地址附近设置代理或者关联真实身份配置文件来躲避安全检测，使用被盗信用卡等未授权账户完成结账。

这些Agent都提供了对浏览器的原生支持，在浏览或点击商品等操作时如同真实的用户，当监控Agent发现一个珍贵或者稀缺的商品时，就会通知购物车Agent将商品添加到购物车中，随后付款Agent去结账完成整个交易。

欺诈智能体在模拟人类行为的同时也会学习系统的防御策略。如下图所示，当任务启动后，不同Agent协作去执行子任务，针对防御系统实时运行，并获取反馈然后进行调整并重试，这种策略使它能够不断优化其防御绕过的能力，从而提高整体的攻击成功率。

Spec团队分享了一个具体案例来揭示欺诈智能体的自我学习机制，当欺诈智能体利用泄露账户进行非法活动时，防御系统检测到了凭证填充攻击并终止了该账户行为。有趣的是获取到防御系统的反馈后，一部分Agent的行为模式发生了改变，当成功获得访问权限后便不再进行其他操作，另一部分复杂的Agent还会对泄露账户进行操作，例如查看主界面、访问账户详细信息甚至更新账户信息。

前文展示了欺诈智能体强大的自主规划和自我学习机制，简单的防御规则很难检测出如此狡猾的敌人，那么如何制定更加灵活有效的防御手段呢？

Spec团队通过大量观察发现，局限地关注交易行为将无法找出任何明显的欺诈迹象，因为欺诈智能体模拟的买方看起来完全正常，支付方式和买家信息匹配，不存在设备、位置或电子邮件的异常风险，另外重新激活的卖家也可能存在欺诈威胁，然而在交易行为中，他们能通过设备嗅探测试甚至是生物识别验证，证明他们有权访问这些账户并能通过所有安全挑战。

Spec进一步将观察视角扩大到非交易性的互动，发现了以下异常行为：

• 愿望清单和购物车

  看哪些物品被添加到愿望清单或购物车中。

• 页面浏览量

  观察页面浏览量，识别异常的高频浏览。

• 重新激活的卖家

  这些卖家似乎只关心特定的买家群体。

通过持续的非交易行为观察，可以逐步形成如下所示的网络行为图谱，揭示出这些卖家和买家的异常行为模式。

针对欺诈智能体的行为模式，Spec安全团队提出了以下几点检测防御策略：

• 整合数据识别异常行为模式

  欺诈智能体低频的监控活动难以检测，需要将所有的数据整合在一起识别真正的异常模式，具体措施包括收集会话ID以统一用户行为数据；整合账户、设备、IP和事件等数据点，以提供全面的潜在威胁视图等等。

• 蜜罐策略

  一旦识别出欺诈智能体的攻击行为，立即阻止可能会适得其反，导致被阻止的账户成为智能体的训练数据，使其变得更加难以检测。而使用蜜罐可以拖延攻击者的时间，创造攻击失败的假象，引导智能体进行更多尝试，从而暴露更多行为模式。

• 促进团队协作，倡导预防性防御策略

  促进反欺诈、安全和产品分析团队相互协作，确保共享统一的语言和数据，创建一致的防御策略；强调采取主动措施防止欺诈行为，尽早识别潜在威胁并实施相应措施。

大模型智能体犹如一把“双刃剑”，将人类从日常事务和重复劳动中解放出来，也引发了新的安全威胁。攻击工具从命令行界面到自动化脚本，发展到以AI为驱动的智能体攻击，其强大的自主规划、环境感知和学习能力对防御检测技术提出了更高的要求。目前安全厂商通过大模型来提升安全运营效率和产品安全能力的同时，攻击者也在利用大模型智能体来实施各种类型的攻击，只有通过建立全面而强大的防御体系，才能应对复杂多变的新型威胁。