今天进入人工智能安全隐私的威胁模型。以下是威胁模型内容。

2、威胁模型

在深入研究机器学习的安全和隐私方面之前，我们首先介绍相关的对抗模型。

知识。一个重要的方面是攻击者可能拥有什么样的知识：

• 完美知识：他们有一些关于模型或其原始训练数据的信息，例如，ML算法、模型参数、网络结构和（一些）训练数据。

• 零知识：他们对模型一无所知。相反，他们可能会 通过提供一系列精心设计的9输入和观察输出来探索模型。

• 部分知识：攻击者的知识介于完全知识和零知识之间。

训练与推理。另一个变量是攻击可能发生的位置：

• 训练阶段：攻击者可能会改变训练数据集以影响基础 学习过程。他们也可能尝试学习模型，例如，访问摘要、 部分或全部训练数据。在此过程中，根据上下文，攻击者可能会创建一个替代模型（也称为辅助或代理模型），用于对受害者系统进行攻击。

• 推理阶段：攻击者可能会生成精心设计的测试时示例，以影响模型的预测。攻击者还可以通过观察模型做出的推论来收集有关模型特征的证据。

被动与主动。最后，人们还可以区分被动攻击和主动攻击，大致反映了安全文献中诚实但好奇和完全恶意的对手之间的传统区别：

• 被动攻击：对手被动地观察更新并执行推理，例如，在训练过程中不改变任何内容;

• 主动攻击：对手主动改变他们的运作方式。

这些知识设置代表了不同的现实威胁模型，并影响了ML系统的安全性和隐私性。

原文始发于微信公众号（河南等级保护测评）：网络安全知识体系：人工智能安全隐私之威胁模型