今天给大家推荐的是一篇来自德国亥姆霍兹信息安全中心（CISPA）张阳研究组投稿的，关于如何保护人脸图像免遭恶意编辑的工作UnGANable: Defending Against GAN-based Face Manipulation，该工作已发表于USENIX Security 2023。

背景介绍

机器学习模型在现代计算机应用中占据重要地位，是图像分类、推荐系统等功能实现的核心与基础。其中，深度生成模型是图像领域的一项重要进展，自 Generative Adversarial Networks（GANs）问世以来，生成图像的分辨率和质量取得了指数级的提高。尽管具有真实感的生存图像可被广泛用于诸如虚拟现实、头像和游戏等地，但与此同时也出现了被称为深度伪造的不良应用，如面部操作技术等。面部操作系统可以通过改变发型或面部表情等属性，从而篡改图像中的目标面孔，并且随着面部操作技术的不断升级，操纵结果变得越来越逼真。这导致了图像的恶意使用，操纵者可能会未经许可编辑他人的肖像照片用于制造虚假信息，或通过篡改人物演讲视频的表情（例如口型）达到误导公众的目的。鉴于面部操作系统滥用可能带来的危害，亟需探索保护面部图像的有效工具用以防止图像的恶意操纵。

操纵者/攻击者需要执行两个步骤的操作来利用生成对抗网络（GANs）操纵面部图像：第一步是GAN反演，它将受害者的面部图像反转为潜空间编码；第二步是潜空间编码操纵，它操纵潜空间编码以获得修改后的图像，例如在受害者的面部上添加一副眼镜。

为抵御基于GAN反演步骤实现人脸操纵，文章首先提出了第一个防御系统——UnGANable。由于攻击者一旦成功地将图像反演为其准确的潜空间编码，将可以对潜空间编码进行任何操作，因此最有效的防御方法是降低GAN反演的性能，能够使攻击者只能获得与准确潜空间编码相距甚远的不准确潜空间编码，而无法有效实现接下来的潜空间编码操作步骤。请参见Figure 1以了解我们的防御技术的基本思路。

GAN反演

文章分别考虑了具有代表性和广泛性的两种 GAN反演技术，即优化反演和混合反演 (如Figure 2所示)。其中，优化反演技术通过优化潜空间编码来重建目标图像，而混合反演则是预先训练一个编码器，该编码器可以将目标图像映射到潜空间编码，之后再利用优化反演技术来优化此潜空间编码来重建目标图像。由于混合反演是一种更为强大和先进的GAN反演技术, 此外优化反演其实属于混合反演的一部分，因此这里将主要介绍防御混合反演的方法。关于如何防御优化反演可以查看文章全文。

防御混合反演

设计思路

优化反演的成功是基于感知（Perceptual）损失和像素均方误差（MSE）损失的加权组合成的损失函数，以引导优化过程进入正确的潜空间区域。这种方法导致了以下观察结果：

• 均方误差损失是基于像素值计算，即工作于图像空间。

• 感知损失通过使用预训练模型从不同图像中提取的特征来衡量相似性，即在特征空间中工作。

• 优化过程旨在搜索最佳的潜空间编码，即在潜空间中工作。

因此，GAN反演实际上在至少三个空间中工作，即图像空间、特征空间和潜空间。这些观察结果激发了UnGANable系统的设计思路，能够通过寻找能够在潜空间和特征空间中最大程度地与目标图像产生偏差的伪装图像，同时保持该伪装图像和目标图像在图像空间中不可区分。

防御技术

针对混合反演，文章考虑在三种不同的场景下来防御混合反演。

白盒（White-Box, Cloak v2） 混合反演实际利用编码器为后续优化步骤提供更好的初始化潜空间编码。在这里假设防御者能够访问目标编码器  的内部参数，并基于此内部参数来误导  ，即为后续优化步骤提供一个糟糕的初始化潜空间编码。

Figure 6分别显示了感知损失和均方误差损失的趋势图，其中感知损失和均方误差损失表示由潜空间编码输入GAN生成的图片与目标图片之间的距离。首先，编码器确实提供了更好的初始化潜空间编码，从而带来更好的性能表现。其次，当初始化潜空间编码设置为零时，距离趋势保持不变，这意味着很难将目标图像反转到潜空间中。因此，为误导目标编码器  ，防御者可以使目标编码器  提供的初始化潜空间编码为零或接近零，即针对混合反演的防御目标应该是强制目标编码器的输出为零。

在这种情况下，文章假设防御者完全了解目标编码器  ，以及拥有额外的特征提取器  。如Figure 7的绿色部分所示，防御者通过修改目标图像  迭代地在图像空间中搜索伪装图像  , 以最小化  和零之间的偏差，并最大化  和  之间的偏差。

灰盒（Gray-Box, Cloak v3） 在这里，文章放宽防御者完全了解目标编码器  的假设。防御者需要构建一个影子编码器  ，并使得  和  之间的预测非常相近。如Figure 7的粉红色部分所示，防御者首先构建了一个阴影生成器   ，它负责生成一些图像。在此设置中，两个对手是  和  ，它们分别尝试最小化和最大化  和  之间的偏差。那么，影子编码器  就变成了目标编码器  在功能上的等价替代。

最后，防御者通过修改目标图像  在图像空间中迭代搜索  ，以最小化  与0之间的偏差，并最大化  和  之间的偏差。

黑盒（Black-Box, Cloak v4） 在这种情况下，防御者对目标生成器或目标编码器或反演技术仍然未知，只能通过修改目标图像  在图像空间中搜索  ，以最大化  和  在特征空间的偏差。

实验结果

评估指标

在评估指标方面，文章考虑了两个角度：有效性和实用性。有效性衡量了UnGANable对GAN反演过程的威胁程度，对于一个给定的目标图像，成功防御的标志是重构图像身份的改变，这样重构图像将不属于防御者，且防御者不再关心重构图像的操纵。基于这样的逻辑，使用匹配率来评估有效性：

匹配率越低，即意味着身份发生改变的重构图像越多，UnGANable的有效性越好。在这里使用了一种常用的开源人脸验证/比对工具FaceNet来计算防御成功率，给定一对人脸图像的嵌入距离，使用预先校准的阈值来确定它们是否属于同一个人，如果嵌入距离小于阈值，则认为这两个人脸图像属于同一个人，否则属于不同的人。

实用性衡量了UnGANable搜索到的伪装图像是否与目标图像难以区分。为了衡量实用性，文章使用了一系列最常用的相似度度量，包括均方误差（MSE）、结构相似性（SSIM）和峰值信噪比（PSNR）。MSE越低，SSIM和PSNR越高，表示UnGANable的实用性越好。

有效性表现

在UnGANable方法中，文章采用了一个预算ε来限制伪装图像和目标图像之间的距离，以确保伪装图像在图像空间中难以区分。首先通过报告匹配率来研究UnGANable的有效性，同时考虑距离预算ε的影响。具体而言，通过设置10个不同的距离预算ε-0、ε-1、…、ε-9，并在每个距离预算下，通过网格搜索找到最佳的权衡超参数κ。

Figure 9展示了Cloak v2/v3/v4的有效性能，随着预算ε的增加，无论是Cloak v2/v3/v4都能够显著降低匹配率，表明如果设置一个相对较高的距离预算，UnGANable可以取得显著的效果。

除了以上定量结果，文章还提供了伪造图像示例来展示UnGANable在StyleGANv2上的有效性。如Table 3所示，可以观察到随着ε的增加，越来越多的面部特征无法成功重构，重构图像与目标图像之间的差异变得更大表明有效性越来越好。

实用性表现

为了评估实用性能，文章在Table 4中定量报告了各种相似度指标（MSE/SSIM/PSNR）。通常情况下，SSIM值大于0.9或PSNR值大于35表示伪装图像具有良好的质量。

为了更详细地说明实用性能，文章在Table 5中展示了一些在StyleGANv2上使用UnGANable搜索到的伪装图像的定性样本。可以观察到，当将距离预算设置为ε-1和ε-3时，即完全无法察觉的扰动，UnGANable可以实现可接受的有效性能（请参见Table 3中的定性重建示例）。此外，当将距离预算设置为ε-7或ε-9时，可以肉眼察觉到一些扰动。需要注意的是，这些视觉结果是针对它们对应的GAN模型生成的图像进行的。在论文的第6节中，文章进一步对真实图像进行实验，并发现UnGANable可以采用更低的距离预算来获得出色的有效性能，同时保证伪装图像的视觉质量。

与基线方法比较

为了更有说服力地阐述UnGANable的性能，文章将其与十三种图像扰动方法进行了广泛比较，对于每种方法均使用各种不同的预算大小评估了其有效性能和实用性能。Figure 8显示了每种图像扰动方法的匹配率与MSE/SSIM/PSNR得分之间的关系。

首先，随着预算ε的增加（即MSE变大，SSIM/PSNR变小），所有图像扰动方法都可以显著降低匹配率，这意味着仅在图像空间工作的图像扰动方法也可以实现良好的有效性能。

其次，通过图表可以清楚地认识到UnGANable引入的最大化潜空间差异和特征空间差异的优势。在具有类似实用性能水平的图像扰动方法（相近的MSE/SSIM/PSNR）中，Cloak v2/v3/v4在绝大多数情况下实现更好的有效性能（较低的匹配率），即寻找最大化潜空间编码和特征空间差异的伪装图像可以在几乎不损害实用性的情况下进一步阻止GAN反演。此外，当UnGANable在选择范围之外时，GaussianNoise、GaussianBlur和JPEGCompression似乎具有更好的表现。

总结

文章通过提出UnGANable系统，迈出了对抗基于GAN反演的人脸篡改的第一步，即基于UnGANable系统遏制GAN的反演进程。通过考虑基于优化和混合的两种先进的GAN反演方法，并在不同的情景下全面刻画了防御者的背景知识，得到UnGANable在有效性和实用性方面均能取得显著的性能的结果。文章还将UnGANable与多种图像扰动方法进行了比较，结果显示UnGANable在图像扰动方法中具有显著优势。

文章链接：
https://arxiv.org/pdf/2210.00957.pdf

代码链接：
https://github.com/zhenglisec/UnGANable

投稿作者：

李政 德国亥姆霍兹信息安全中心(CISPA)
德国CISPA张阳研究组在读博士研究生，研究方向为机器学习的安全与隐私问题，相关研究成果已经发表于国际安全顶级会议ACM CCS 2021/2022/2023, NDSS 2023和USENIX Security 2023。
个人主页：https://zhenglisec.github.io/

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2023-05-16 UnGANable