软件安全在过去几十年里取得了长足的进步。现在很难相信，但曾经有一段时间，渗透测试仅在主机/网络层进行，安全团队完全意识到应用程序级攻击，如SQL 注入、跨站点脚本等。因此，攻击者开始绕过传统的防御措施，如网络防火墙，通过应用程序层的攻击，我们看到了诸如 Web 应用程序防火墙 (WAF)、Appsec 审查、保护代码等控制措施的出现。
如今，软件安全已发展到通过 DevSecOps 运动涵盖无服务器、API 控制和管道安全等技术。
新出现的威胁
正如安全团队所知，黑客是出了名的聪明人。一旦在应用程序中实施了一层安全性，他们就会继续针对成熟度不高的新兴技术。请记住这一点，当今基于人工智能的系统是过去的网络应用程序，即网络安全团队没有意识到的全新的攻击面。
对于实施基于人工智能的系统的公司来说，网络安全团队通常会对软件堆栈进行渗透测试直至应用层，但会忽略一个关键点：
基于人工智能 (AI) 的系统最关键的功能是能够根据所提供的数据做出决策。如果这些数据和决策能力受到损害或被盗，那么整个人工智能生态系统就会受到损害
不幸的是，当今大多数网络安全团队并没有意识到人工智能系统引入的新型攻击。在这些攻击中，攻击者操纵人工智能系统工作方式的独特特征来实现其恶意意图。
许多商业模型已经被操纵或欺骗，随着人工智能的大规模采用，这种类型的攻击只会增加。
独特类型的人工智能攻击
人工智能引入的新威胁面非常多样化。数据可能会有意或无意地“中毒”，从而导致决策被操纵。同样，人工智能逻辑或数据可以被“推断”，从而导致数据提取，一旦攻击者弄清楚了底层的决策逻辑，模型就可以被“规避”。
如果这听起来有点太模糊，那么下面将详细介绍这些攻击：
⚠️数据中毒：攻击者可以毒害用于训练机器学习模型的训练数据。通过污染这个数据源，攻击者可以创建一个“后门”，因为他知道模型已经接受了错误数据的训练并且知道如何利用它。这可以促进进一步的攻击，例如后面提到的模型规避。
⚠️模型中毒：与之前的攻击类似，但这次攻击者的目标是模型而不是数据。预先训练的模型被破坏并注入后门，攻击者可以利用后门绕过其决策过程。大多数公司不会从头开始构建模型，而是使用常见的预训练模型，例如Microsoft 的ResNet或Clip OpenAI。这些模型存储在 Model Zoo 中，这是开源框架和公司组织机器学习和深度学习模型的常见方式。这就像软件供应链攻击，攻击者可以毒害许多用户
⚠️数据提取：攻击者可以查询模型并了解其学习中使用了哪些训练数据。这可能会导致敏感数据泄露，因为攻击者可以推断模型训练中使用的数据，如果涉及敏感数据，则尤其危险。这种类型的攻击也称为“成员推理”，不需要访问模型的功能，只需观察模型的输出即可完成
⚠️模型提取：攻击者可以通过重复查询模型并观察其功能来创建模型的离线副本。大多数模型公开暴露其 API 并且没有正确清理其输出，这一事实可能会助长这些攻击。该技术允许攻击者深入分析离线副本并了解如何绕过生产模型
⚠️模型规避：攻击者通过提供特定的输入来欺骗模型，从而导致做出错误的决策。这通常是通过观察运行中的模型并了解如何绕过它来完成的。例如，攻击者可以尝试欺骗基于人工智能的反恶意软件系统，使其不检测其样本或绕过生物识别验证系统。
毫无疑问，随着人工智能采用率的增加；上述攻击将变得像今天的 SQL 注入一样普遍，并且将被相提并论。防范这些攻击的最佳解决方案之一是通过将它们纳入当前的渗透测试实践来进行早期检测。
渗透测试人工智能应用
好消息是您不必从头开始。如果您曾经作为网络安全团队的一员参与过渗透测试或红队，那么您可能会熟悉MITRE ATT&CK框架，这是一个基于现实世界示例的可公开访问的对手攻击和技术框架。
全球各种公共和私营部门组织在其威胁模型和风险评估中使用它。任何人都可以访问它并了解攻击者针对特定系统使用的策略和技术，这对于参与渗透测试或红队的人员非常有用。
这个流行的框架被用作创建MITRE ATLAS（人工智能系统对抗威胁景观）的模型，其描述为
“基于现实世界观察、ML 红队和安全小组的演示以及学术研究的可能性状态的机器学习 (ML) 系统的对手战术、技术和案例研究的知识库”
ATLAS 遵循与 MITRE 相同的框架，因此网络安全从业者在想要测试其内部人工智能系统的漏洞和安全风险时，很容易研究和采用其技术。它还有助于在网络安全社区中提高对这些风险的认识，因为它们以他们已经熟悉的格式呈现。
AI渗透测试工具
标准安全工具通常没有内置基于人工智能的技术，这些技术可以评估模型对模型推理或规避等风险的脆弱性。值得庆幸的是，网络安全团队可以使用免费工具来补充其现有的渗透测试工具包。这些工具是开源的，但您也可以寻找商业替代品。
无论您喜欢哪种类型，请确保这些工具具有以下功能。
-
模型无关：可以测试所有类型的模型，不限于任何特定模型
-
技术不可知论：它应该能够测试任何平台上托管的人工智能模型，无论是在云端还是在本地。
-
与您现有的工具包集成：应具有命令行功能，以便您的安全团队可以轻松执行脚本编写和自动化操作。
您可以找到的一些免费工具是
-
微软的 Counterfit：被微软描述为“一个用于安全测试人工智能系统的自动化工具，作为一个开源项目。Counterfit 帮助组织进行人工智能安全风险评估，以确保其业务中使用的算法稳健、可靠且值得信赖”。Counterfit 提供了一种自动化和测试针对 AI 系统的攻击的好方法，可用于红队和渗透测试。它包含预加载的 AI 攻击模式，安全专业人员可以通过脚本从命令行运行这些模式，并可以与现有工具包集成
-
Adversarial Robustness Toolbox (ART)被描述为“用于机器学习安全的 Python 库”。ART 提供的工具使开发人员和研究人员能够防御和评估机器学习模型和应用程序，抵御规避、中毒、提取和推理等对抗性威胁。ART 支持所有流行的机器学习框架”
为了使这些工具有效，请确保将其映射到ATLAS框架，以便您可以将其与通用标准保持一致。您可以使用这些工具进行红队/渗透测试以及对人工智能系统进行漏洞评估。使用它们定期扫描您的人工智能资产，并构建人工智能特定风险的风险跟踪器。通过随着时间的推移跟踪这些风险，您可以看到安全状况的改善并随着时间的推移监控进展情况。
获得更好的攻击背景和意识的另一个宝贵资源是此处列出的 Atlas 案例研究页面。此页面列出了针对生产 AI 系统的已知攻击，安全团队可以使用它来更好地了解对其系统的影响。
我希望这能为您在网络安全保障活动中添加人工智能渗透测试提供一个起点。请放心，由于人工智能采用的大幅增加以及网络犯罪分子对滥用人工智能的兴趣，该领域将在未来几年内迅速普及。
原文始发于微信公众号（KK安全说）：【AI安全】人工智能渗透测试（黑客）
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论