G.O.S.S.I.P 阅读推荐 2022-06-20 ML-DOCTOR

大家好呀~ 新的一周开始啦~今天给大家推荐的是一篇来自德国CISPA中心张阳研究组投稿的，关于对机器学习模型推理攻击全局性研究的文章ML-DOCTOR: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models，目前该工作已被USENIX Security 2022录用。

近年来，针对机器学习的推理攻击使攻击者可以非常容易地获得用户的隐私信息。目前，针对各种具体攻击的研究已经取得了一定的成效。然而，研究者们对于这一类的攻击没有一个全局的认识，大部分研究基于不同的条件针对不同的场景来讨论某一特定的攻击的影响。在这篇论文中，作者的目的是消除这一研究上的缺失，并且详细的分析了不同推理攻击之间的相互关系。同时，作者对目前两种针对某些特定推理攻击的防御方法进行了全局的研究。发现现有的方法并不能防御所有的推理攻击。

威胁建模

在这篇文章中，作者对已有的推理攻击进行归类，并从两个维度来建立威胁模型，即目标模型的访问权限与辅助数据集。

1. 目标模型的访问权限：作者在这里考虑了两种设定，白盒模型攻击与黑盒模型攻击。前者意味着攻击者可以获取到目标模型的所有信息。而后者只可以目标模型的输出，类似于机器学习服务平台通过API获取模型结果。

2. 第二个维度是辅助数据集：作者在这里考虑了三种情况，攻击者可以获取到部分训练数据集，攻击者拥有与目标模型训练集的同分布的影子数据集，以及攻击者没有任何数据集。

在实际的应用场景中，不具有数据的黑盒攻击是难以实现的，因此，作者从六种攻击场景中选取其中的五类：具有影子数据集的黑盒模型攻击，具有部分训练数据集的黑盒模型攻击，没有任何数据集的白盒攻击，具有影子数据集的白盒攻击以及具有部分训练数据的白盒攻击。

推理攻击

在这篇文章中主要讨论四种推理攻击方式：成员推理攻击、模型逆向攻击、属性推理攻击以及模型窃取攻击。

成员推理攻击

成员推理攻击指的是攻击者利用目标模型以及辅助数据，判断一个目标样本是否参与了模型的训练。这种攻击的攻击方式包括四种方式：具有影子数据集的黑盒或者白盒攻击以及具有部分训练数据集的黑盒或者白盒攻击。

模型逆向攻击

模型逆向攻击指的是攻击者利用目标模型和辅助数据，去恢复出训练样本。这种攻击的攻击方式主要包括两种方式：不具有数据集的白盒攻击以及具有影子数据集的白盒攻击。

属性推理攻击

属性推理攻击指的是攻击者通过目标模型，推断数据集包含的隐藏信息。这种攻击的攻击方式主要包括具有影子数据集的白盒攻击以及具有部分训练数据集的白盒攻击。

模型窃取攻击

模型窃取攻击指的是攻击者通过目标模型以及辅助数据集，推断出模型的参数的攻击手段。这种攻击的攻击方式主要包括具有影子数据集的黑盒攻击以及具有部分训练数据集的黑盒攻击。

ML-DOCTOR

作者在这部分介绍了ML-DOCTOR的具体工作流程。ML-DOCTOR具体分为4个模块。如图所示，首先是数据处理模块，ML-DOCTOR将用户提供的数据集进行处理用来进行不同的攻击实验。接下来是攻击模块，ML-DOCTOR会对用户提供的目标模型进行4种攻击。然后通过防御模块来对两种流行的防御机制进行测试。最后通过评估模块来对结果进行分析。

ML-DOCTOR是一个能使使用者详细了解自己的目标模型在现实中所存在的风险的系统。其提供了对模型全面的分析。目前市场上并没有一种工具可以进行这种操作。ML-DOCTOR同时具有非常简单的扩展方式，如果未来有新的攻击或者防御方法出现，ML-DOCTOR可以简单的将其加入到攻击或者防御模块中。

实验设定

数据集

作者在这篇文章中一共使用了四种不同的数据集，分别是CelebA，FMNIST(Fashion-MNIST)，STL10，以及UTKFace。在实验中，每个数据集都会平均分为四份，分别作为目标训练集，目标测试集，影子训练集，以及影子测试集。

目标模型

作者在实验中使用五种不同的目标模型，分别是AlexNet，ResNet18，VGG19，Xception 以及包含两个卷积层两个全连接层的SimpleCNN。

实验结果

作者首先分别测试四种攻击的表现，发现与之前的文章结果相差无异。更多结果请见论文。

作者针对实验设计提出了三个研究问题，分别是：

1. 数据集复杂度对不同的攻击有什么影响？

2. 过拟合对于不同的攻击有什么影响？

3. 不同的攻击之间是否存在关联？

首先为了回答第一个问题，作者提出了如何定义数据集的复杂度。作者根据数据集类型，标签，大小来进行分类。首先最简单的数据集是FMNIST，因为它是一种单通道灰度图。其次为UTKFace，因为它仅仅由人脸组成。CelebA排在UTKFace后面，因为虽然都为人脸数据集，CelebA数据集更大包含更多图片。而最复杂的是STL10，因为它包含不同种类的图片。基于这个定义，作者发现对于成员推理攻击以及模型窃取攻击，数据集复杂度有着很重要的影响。越复杂的数据集成员推理攻击的效果越好，而模型窃取效果越差。

作者针对第二个研究问题首先提出两种计算过拟合的方法，首先是过拟合度，作者通过将训练集的准确率与测试集的准确率作差来进行定义。研究发现过拟合度对于成员推理攻击以及模型窃取攻击都有着重要的影响。具体来说，过拟合度越高，推理攻击的效果越好，而模型窃取效果越差。同时对于RGB图片，过拟合度越高模型逆向攻击越差。

同时作者研究了在训练的不同阶段时，每个攻击的效果对比，以此来论证模型过拟合的影响。得到的结论与之前的结论相差无异。

最后，作者研究了不同攻击之间的关系，通过计算攻击结果之间的皮尔逊相关系数，作者发现成员推理攻击与模型窃取攻击之间存在较强的负相关关系，一个模型若较容易遭受成员推理攻击，则在其上模型窃取攻击的成功率则较低。同样的关系在成员推理攻击和模型逆向攻击中也存在。

防御方法

在本文中，作者主要针对两个防御机制来进行研究，一个是差分隐私，另一个则是知识蒸馏。使用着两个方法是因为他们对于特定的攻击有着非常好的防御效果，并且被广泛的用于实际当中。作者希望研究这两种方法在同等设定下能否用于全部的推理攻击。然而实验结果表明，这两种方法对于已有的推理攻击并不能都起到很好的防御效果。

同时作者研究了防御方法与模型表现之间的权衡取舍，作者发现，虽然差分隐私具有良好的防御效果，但在一定程度上会降低模型的性能，对于一些复杂数据集，模型的表现甚至无法在现实中使用。而知识蒸馏虽然拥有较好的模型表现，但是其所能防御的推理攻击也是寥寥无几。因此目前并没有可以针对所有推理攻击的防御方法。

结论

在这篇论文中，作者对推理攻击进行了全局性的研究，提出了一个判断机器学习模型遭受推理攻击成功率的评估工具。通过实验，作者发现训练数据集的复杂度及模型的过拟合程度对推理攻击的成功率也有不同程度的影响，以及不同攻击方式之间的关联性。最后作者通过对现今推理攻击的防御机制来进行研究，发现目前并没有一种可以抵御所有推理攻击的方法。

论文下载：https://www.usenix.org/system/files/sec22summer_liu-yugeng.pdf

---

投稿作者介绍（双一作呀！）：

刘禹更  CISPA

德国CISPA研究中心在读博士生，本科毕业于上海交通大学。研究方向为机器学习在可信世界中的应用、硬件安全、物联网安全等。

个人主页：https://liu.ai/

文锐 CISPA

德国CISPA研究中心在读博士生，本科毕业于中国科学技术大学。研究方向为机器学习的隐私和安全。

个人主页：https://wenruiustc.github.io/

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2022-06-20 ML-DOCTOR