G.O.S.S.I.P 阅读推荐 2023-05-25 DPMLBench

今天给大家推荐的是一篇来自浙江大学、美国斯坦福大学和德国CISPA亥姆霍兹信息安全中心联合投稿的，关于保差分隐私机器学习的文章DPMLBench: Holistic Evaluation of Differentially Private Machine Learning，目前该工作已被ACM CCS 2023录用。

差分隐私是一种保护数据集中个体数据的隐私保护技术。其目标是确保对数据集进行的任何计算的输出不会透露任何有关个体数据样本的信息，同时仍然允许从数据中提取有用的信息。它的核心思想是通过通过向数据添加经过精确校准的噪声来实现这一目标。保差分隐私机器学习（DPML），是在机器学习模型中应用差分隐私，从而保护用于模型训练的数据隐私。这在训练数据集中包含敏感信息的情况下尤为重要，例如医疗记录、金融交易或个人通信。通过应用差分隐私，我们可以确保模型仅学习数据中的一般模式和趋势，而不能记忆或过拟合于个体的数据样本。

DP-SGD是机器学习中实现差分隐私的一种经典算法，是差分隐私和随机梯度下降（SGD）算法的结合，通过在模型训练过程中对梯度进行逐样本的裁剪限制单个样本对模型参数的影响，同时在梯度中添加一定量的噪声来实现差分隐私。而在使用差分隐私的机器学习中，一个重要的考虑因素是隐私和效用之间的平衡。添加过多的噪声可能会导致模型准确性显著降低，而添加过少的噪声可能无法提供足够的隐私保证。这种噪声是通过拉普拉斯分布或高斯分布来生成的，其大小由差分隐私参数 𝜖� 和 𝛿� 决定。 𝜖� 决定了噪声的强度，𝛿� 决定了隐私泄露的概率上限。

为了在保护隐私的前提下尽可能少的损失性能，研究人员积极探索新技术和算法，以平衡隐私和模型性能，许多研究提出了基于DP-SGD的改进算法，以减轻精度损失。但是，这些研究是孤立的，不能准确的衡量算法改进在不同条件下的性能。更重要的是，缺乏全面的研究来比较这些差分隐私机器学习算法的改进在可用性、防御能力和通用性方面的表现。

于是，本文作者首先提出一个分类法，依据机器学习训练流程的阶段，对DPML改进算法的改进位置进行归类，从而细致分析不同类别算法的特点。作者选取图像分类任务，对这些DPML改进算法的模型性能和对攻击的防御能力进行了大量的实验测量，覆盖了12个算法、4个模型结构，4个数据集，2种成员推理攻击算法和各种隐私预算配置，同时还涵盖了标签差分隐私（Label DP）算法。作者同时实现了一个模块化可重复使用的测试平台，DPMLBench，能够方便的使用和扩展评估算法，方便隐私数据所有者可以轻松部署DPML算法，同时作为研究人员和从业者的评估工具。

差分隐私算法分类

上图是机器学习训练的通用阶段，作者依据DPML算法改进位置所处的机器学习训练阶段提出了一种新的分类方法。

这种分类方法有以下优点：

• 机器学习训练各阶段之间是不相关的，这使得各个阶段的改进方法可以组合以获得更优的性能

• 为未来的研究者提供了明确的路线图来改进DPML算法

• 机器学习各阶段是领域无关的，可以很容易的扩展到评估其他领域中的DPML算法，例如图神经网络和自然语言处理。

DPMLBench

作者实现了一个模块化可重复使用的测试平台，DPMLBench，能够方便的使用和扩展评估算法，方便隐私数据所有者可以轻松部署DPML算法，同时作为研究人员和从业者的评估工具。

实验评估

作者选取Accuracy，Utility Loss作为评测模型可用性的指标，Privacy Leakage作为防御能力的指标，并以DP-SGD作为性能基准，一共选取了12种标准差分隐私机器学习算法，4个机器视觉数据集，4种典型模型结构并取了10个 𝜖� ，围绕以下三个研究问题进行实验探索：

1. 哪类改进算法能更好的降低模型可用性损失？

2. 哪类改进算法能更好的抵御攻击威胁？

3. 模型结构和数据集对于分处不同类别的算法都会造成什么样的影响？

模型可用性评估

从可用性实验结果可以看到，大部分算法在模型参数量很大时都无法取得合理的结果，RGP算法虽然能在大模型上获得比较好的性能，但是在 𝜖� 较大时反而性能会有下降；Model Ensemble类别中的方法不太受模型规模的影响，但是在数据集变复杂时性能会下降很多；Model Design类别中的算法性能都比较近似。

攻击抵御能力评估

从攻击抵御能力可以看出，只要应用差分隐私就可以对成员推理攻击有很好的抵御能力，而Model Ensemble和Data Preparation类别中的算法有更强的抵御能力。

作者进行了额外的实验探究梯度裁剪对攻击的防御性能：尽管只应用梯度裁剪并不提供差分隐私保护能力，但是依旧能有效的防御成员推理攻击，防御效果受具体模型结构影响。

和标签DP算法的对比

标签差分隐私（Label DP）是差分隐私的一个变体，将隐私保护的目标放松到数据的标签而不是数据。

通过实验结果可以看到，标签差分隐私算法对模型性能的影响更小，但是在抵御攻击方面的能力也更弱。

论文链接：https://arxiv.org/abs/2305.05900

代码链接：https://github.com/DmsKinson/DPMLBench

---

投稿作者介绍：

赵明虎 浙江大学

浙江大学在读硕士，目前主要研究方向为数据隐私保护，相关研究成果发表在信息安全领域顶级会议ACM CCS。

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2023-05-25 DPMLBench