‍数据中毒、模型提取和成员推理攻击都是网络安全团队需要尽早识别和缓解的新风险。做到这一点的最佳方法之一是将威胁建模的概念应用于这些应用程序。

威胁建模

威胁建模是指识别系统安全威胁的结构化方法，通常由以下部分组成：

● 系统的高级图

● 攻击者概况及其动机

● 对系统的威胁及其可能如何实现的列表

威胁建模就像风险评估，但您采用攻击者的视角，看看他们可以造成多大的损害。有许多可用于威胁建模的方法和工具，我们不必在这里介绍，但老实说，如果您了解核心概念，您可以用笔和纸创建威胁模型！

威胁建模人工智能应用

以最简单的形式，您可以创建人工智能应用程序的高级图表，并设想威胁将出现的场景。

让我们以以下示例 AI 系统为例，我们为其创建以下高级抽象：

尽管这是一个非常基本的概念，您仍然可以使用它来分解人工智能系统并列出可能成为攻击者目标的关键资产。

一些关键资产是：

● 训练数据

● 面向公众的API

● 机器学习模型

● 托管模型的服务器

● 管理下访问密钥或凭据

现在假设攻击者的观点并尝试想象他们的目标区域是什么。您不必单独完成此操作，而应该让人工智能团队中的数据科学家和技术人员参与进来，帮助您完成同样的工作。头脑风暴威胁是通过多种方法来识别技术生态系统薄弱环节的好方法。

STRIDE 是 Microsoft 流行的威胁建模方法，我更喜欢它，它将威胁分为以下几类：

1. 欺骗：冒充某物或他人。

2. 篡改：修改数据或代码

3. 否认：声称没有采取任何行动。

4. 信息披露：向未经授权查看信息的人公开信息

5. 拒绝服务：拒绝或降低向用户提供的服务

6. 特权提升：无需适当授权即可获得能力

尝试将所有威胁分为这些类别，并为每个类别至少设想一个威胁。让我们详细了解一些示例威胁及其缓解措施的类别。

欺骗

🚨威胁场景：攻击者可以恶意利用人工智能系统进行身份欺诈。例如，在远程采访中使用Deepfakes冒充他人的身份

🔒缓解措施：对敏感职位的采访实施“真实性检查”。确保人力资源部门接受过检测深度造假的培训

篡改

🚨威胁场景：攻击者毒害数据科学家使用的第三方工具的供应链：

🔒缓解措施：使用前扫描软件库。确保存在完整性检查

否认

🚨威胁场景：在欺骗威胁的基础上，攻击者可以使用深度伪造来实施身份威胁并将这些行为归因于另一个人。

🔒缓解措施：确保将身份验证内置到彼此独立的多个级别的系统中。

信息披露

🚨威胁场景：攻击者获得模型的访问权限并尝试复制它

🔒缓解措施：对公开的 API 进行限制，以限制可以发出的请求数量。来电数量异常提醒。输出请求中的信息有限

拒绝服务

🚨威胁场景：攻击者通过删除训练数据引发拒绝服务攻击

🔒缓解措施：定期备份图像。限制访问训练数据

特权提升

🚨威胁场景：攻击者获得管理员凭据或密钥的访问权限

🔒缓解措施：管理员使用多重身份验证通过强化端点访问服务器。

结论

如所看到的，威胁建模更像是一门艺术，而不是一门精确的科学，而且做得越多，就做得越好。使用的具体方法并不重要，但重要的是始终如一地执行此操作，并跟踪这些风险直至结束。这应该与定期参与人工智能系统的培训/创建的技术和业务团队合作完成。本质上，威胁建模是提出“可能会出现什么问题”的问题，并像攻击者一样思考并回答它。在整个人工智能生命周期以及每当发生重大变化时执行此过程，

原文始发于微信公众号（KK安全说）：【AI安全】AI&机器学习的威胁建模