强大的防御源自于攻击敌人的弱点。Google DeepMind 开发了一个评估框架，可以突出显示对抗性 AI 最薄弱的领域，从而让防御者可以优先考虑他们的防御策略。

DeepMind 致力于人工智能的前沿研究，即所谓的前沿人工智能。这包括通向 AGI（通用人工智能）的道路，即人工智能能够自我推理。在一份新报告 ( PDF ) 中，DeepMind 分析了当前人工智能在网络攻击中的使用情况，以及用于评估此类攻击的常见框架，并发现它们存在不足。随着人工智能能力和新兴人工智能对抗性使用的提高，这种情况只会变得更糟。

DeepMind 研究了评估 AI 辅助或衍生攻击的各种现有方法。攻击评估框架的最大价值在于展示对手的攻击方法，并允许防御者将防御重点放在攻击链中特别相关的领域。然而，DeepMind 发现，当前的 AI 框架是临时的，不是系统的，无法为防御者提供有用的见解。

当前的框架往往侧重于众所周知的对抗性人工智能辅助能力提升、吞吐量提升和自动化；也就是说，对抗性人工智能攻击可能更复杂、更频繁、范围更广。这些信息本身并不能帮助防御者优先应对单个以人工智能为重点的对抗性攻击。

目前，它们在 DeepMind 所说的“人工智能在逃避、避免检测、混淆和持久性等研究不足的阶段的巨大潜力”方面还很薄弱。具体来说，人工智能增强这些阶段的能力带来了巨大但经常被低估的威胁。与此同时，虽然评估框架专注于检查攻击链的各个阶段，但它们几乎没有提供如何或在何处阻止攻击的指导。 

DeepMind 致力于开发一个框架，用于评估对抗性 AI 攻击的完整攻击周期，以便更好地了解成本破坏性防御缓解措施的最佳点 - 但该框架足够灵活，可以涵盖当前的 AI 和即将出现的更先进的 AI。

谷歌威胁情报小组记录了来自 20 多个国家/地区的 12,000 多次利用人工智能进行网络攻击的实际尝试，并据此整理出攻击链原型列表，并进行了瓶颈分析以找出攻击链中的潜在挑战，最终列出了 50 个此类挑战。

DeepMind 在其报告中解释道：“我们考虑了历史上由于依赖人类智慧、耗时的手工工作或专业技能而成为瓶颈的攻击阶段，并评估了人工智能自动化或增强这些阶段的潜力，从而显著降低攻击者的执行成本。”

它使用 Gemini 2.0 Flash 来查看 AI 是否可以在这些特定的挑战领域协助攻击者 - 并发现当前的 AI 效率不高。因此，防御者在攻击链中拥有一个点列表，这些点很可能没有任何对抗性 AI 协助，并且将为防御行动提供打破攻击链的主要区域。

DeepMind 报告称：“这种结构化方法不仅使我们能识别潜在的人工智能驱动风险，还能将其置于既定的网络安全框架内，使防御者能够在不断发展的人工智能驱动的网络威胁面前，战略性地优先安排资源，并主动增强其安全态势。”

这种基于对所采用的人工智能模型的挑战来评估人工智能辅助网络攻击的系统方法具有多种优势。随着人工智能模型对抗能力的提高，当它们开始解决更多挑战时，可以监控这一进展。如果人工智能仍未解决当前的挑战，防御者可以更好地了解所用人工智能模型的优势和劣势，并了解在何处优先考虑其缓解策略，以最大限度地阻止攻击链。

这一过程还可以帮助人工智能开发人员制作更安全的模型版本。通过识别潜在风险和模型可能被滥用的领域，人工智能开发人员可以使用 DeepMind 评估新兴网络攻击能力的方法来实施保障措施并提高模型的整体安全性。 

基本原则是找到人工智能目前在改进攻击（挑战）方面的薄弱领域，将这些挑战作为防御团队的指针，并监控人工智能模型在解决挑战方面的进展。

报告称：“它（DeepMind 评估框架）在面对人工智能对手时具有优势，因为它为防御者提供了决策相关的见解，以增强他们的网络防御能力。”“减轻滥用需要整个社区的努力，包括人工智能开发人员的强大护栏和保障措施，以及考虑到人工智能驱动的 TTP 变化的防御技术的发展。”

— 欢迎关注

原文始发于微信公众号（祺印说信安）：Google DeepMind推出利用人工智能网络弱点的框架