G.O.S.S.I.P 阅读推荐 2023-05-11 StyleFool

今天要给大家推荐的论文是来自清华大学、澳大利亚CSIRO’s Data61中心和斯威本科技大学联合投稿的关于视频对抗攻击的论文StyleFool: Fooling Video Classification Systems via Style Transfer，目前该工作已经被IEEE S&P 2023录用。

伴随TikTok、快手、YouTube等大量手机视频应用程序的快速涌现，短视频已经成为人们日常生活中不可或缺的一部分。为了避免政治敏感纠纷，保护未成年人的身心健康，有必要对用户上传的视频进行审核，以防止违法或暴力视频的传播。然而，视频数量的迅速增加以及人力、时间成本的限制已经成为人工审核的挑战。因此，对机器学习辅助视频分类系统的需求大大增加。然而，深度神经网络（DNNs, Deep Neural Networks）被发现容易受到对抗攻击，即通过为图像或视频叠加极小扰动便可使分类系统误分类。一旦视频审核系统被恶意攻击，并使得非法视频在网络恶意传播，将造成不良后果和大量损失。因此，视频分类系统的鲁棒性是至关重要的。对于安全研究界来说，有必要对影响模型鲁棒性的对抗攻击方法进行全面的研究，从而帮助模型开发者进行有针对性的模型保护和对抗防御。对抗攻击是人工智能安全中一个非常重要的研究领域，有助于发现DNN模型漏洞，并提高模型鲁棒性。

对抗攻击根据攻击者对模型结构和参数的访问能力可分为白盒攻击和黑盒攻击。现有黑盒攻击方法需要大量的查询次数，这造成了攻击过程中巨大的计算开销。此外，现有的对抗攻击方法考虑受范数限制的扰动，使得生成的对抗样本可以被去噪或对抗训练等对抗防御方法防御住。为此，本文提出了一种基于风格迁移的黑盒视频对抗攻击方法（StyleFool）来欺骗视频分类系统。该方法考虑语义不变的无限制扰动，旨在不改变视频语义信息的前提下，不对对抗扰动做范数限制。本文认为这种扰动是可观察到的但是不可感知到（observable but imperceptible）。

StyleFool：

传统的风格迁移基于艺术风格，导致生成的风格化图像不接近现实场景。因此，本文首先提出了一种风格图像选择方法。一方面，为了确保风格化视频保持高自然性，本文提出采用颜色主题接近度来获取到颜色更接近的风格图像。另一方面，为了使得风格化视频可以移动至甚至跨过决策边界，本文提出采用目标类别置信度来选择攻击性能更强的风格图像。接着，本文将时间损失引入视频风格迁移，旨在提高视频前后帧间一致性，并减少可能出现的视频闪烁。最后，本文采用自然进化策略解决黑盒设定下梯度不可获取的难题，并通过投影梯度下降法更新风格化视频，直至视频达到误分类的要求。针对视频分类系统的黑盒攻击框架StyleFool的示意图如下。

1. 风格选择：

风格选择有两个目的。首先，它可以搜索风格图像，以确保风格化的视频与原始视频不容易被区分。此外，正确选择的风格图像有助于初始化决策边界附近的风格化视频，以减少后续攻击过程中的查询数量。如下图所示，现有的风格迁移方法的目的是基于不同于原始图像风格的艺术风格来进行风格迁移。如果不仔细选择风格图像，风格迁移可能会产生很容易被人眼捕捉到的变化。这不符合对抗攻击中扰动的不可区分性的要求。为了保持风格化视频的不可区分性，本文提出了一套针对目标攻击和非目标攻击的风格选择方法。

基于颜色主题接近度的风格选择： 

本文首先使用中位切分法量化像素值，并计算像素值的质心，作为计算颜色接近度的颜色主题。在实际操作中，选择一个干净视频的第一帧来产生视频的颜色主题。为了评估两张图片颜色主题之间的相关性，本文将视频和风格图像之间的颜色接近度定义为颜色主题的欧氏距离。较小的接近度表明更好的风格图像，此时风格迁移可以在原始视频中引入较少的可察觉的变化。对于StyleFool非目标攻击，根据颜色主题接近度选择风格图像。

基于目标类别置信度的风格选择：

为了减少目标攻击中的查询数量，StyleFool对风格图像进行离线搜索，这些风格图像帮助风格化视频在向目标模型进行查询之前接近分类边界。本文通过风格图像在目标类中的预测置信度来评估每个风格图像的适应度。由于风格迁移最小化了初始视频和风格图像之间的风格损失，因此风格化视频在其特征表示上与风格图像相似。当特征提取网络与目标模型之间存在可转移性时，目标类中由风格图像风格化的视频很可能更接近目标类的决策边界。因此，在风格化后，可以在较少的优化步骤下制作对抗视频。具体来说，为了从目标类选择最佳风格的图像，本文将风格图像扩展到视频维度，并记录其分到目标类的置信分数；若该视频无法分到目标类，则将目标类别置信度设置为0。在StyleFool目标攻击中，本文同时考虑颜色主题接近度和目标类别置信度来选择风格图像。

2.风格迁移：

为了避免风格迁移后的视频出现时间不一致性或闪烁的现象，本文在视频风格迁移阶段同时考虑了风格化特征和时间一致性。具体来说，本文考虑了内容损失、风格损失、总方差损失和时间损失四个损失函数。内容损失最小化初始视频与风格化视频在高阶表示中的差异，可以鼓励两个视频在其内容中共享语义相似性。风格损失最小化风格图像和风格化视频在风格特征上的偏差。内容损失和风格损失可以使输入视频向决策边界移动甚至越过决策边界，减轻黑盒攻击的攻击难度。总方差损失可以看作是损失函数中的一个正则项，用于消除图像噪声或阴影，提高图像的平滑性。时间损失则借助光流信息来提高相邻两帧之间的一致性。

3.对抗样本生成：

在黑盒攻击中，由于攻击者无法访问模型的结构和参数，因此无法利用梯度信息建立损失函数并进行优化。为了解决上述问题，本文采用自然进化策略，通过对偶采样来估计模型梯度，并通过投影梯度下降迭代更新对抗样本，直至达成攻击目标。由于StyleFool在风格迁移阶段从目标类中选择了最合适的风格图像，风格化后的视频包含了大量风格图像中的特征。风格化视频与风格图像之间更高的相似性表示在高维空间中的距离更近，这有利于减少对抗样本生成过程中的查询次数，从而提高攻击效率。

实验评估：

为了评估StyleFool的性能，本文选取了两个当前流行的视频分类模型C3D和I3D和两个视频分类数据集UCF-101和HMDB51上进行了视频对抗攻击，并与范数限制下的黑盒图像攻击方法Ilyas和两个最先进的视频黑盒攻击方法V-BAD、H-Opt进行了比较。

攻击性能评估：

下表展现了攻击性能的比较结果。StyleFool可以在所有设定下获得100%的攻击成功率，并在查询次数方面显著优于其他方法。平均来看，与Ilyas、V-BAD和H-Opt相比，StyleFool在目标（非目标）攻击中的查询数量分别减少了65%（77%）、43%（53%）和83%（87%），展现了其攻击效率。

可视化结果： 

下图展示了原始视频和StyleFool生成的对抗视频示例，同时包括目标攻击和非目标攻击。相比于原始视频，尽管对抗样本产生了可见的扰动变化，但并没有改变视频的语义信息，同时达到了对抗攻击的误分类要求。

抵御防御能力： 

本文也测试了StyleFool抵御视频对抗防御方法的性能。下表展示了StyleFool与其他三个方法在两个先进的视频防御方法AdvIT和ComDefend和图像中的随机平滑RS上的防御性能。可以看到，由于考虑了语义不变的无限制扰动，StyleFool在不同的数据集和分类模型上均获得了最优的防御性能。相比之下，其他三个方法由于均考虑范数限制扰动，无法绕过AdvIT的前后帧间一致性检测，无法在ComDefend的潜在空间中隐藏住对抗扰动，也无法跳出RS建立的鲁棒区域。

结语：

在这篇论文中，作者首次在视频领域提出基于风格迁移的对抗攻击方法StyleFool。StyleFool在不改变语义信息的情况下产生无限制的扰动，跳出了传统的范数限制攻击的束缚，并在攻击性能、抵御防御性能等方面优于现有对抗攻击方法，大大降低了攻击成本。作者相信，本文的研究将引起社区对安全场景中这种基于风格转移的攻击的关注，特别是在视频审核等应用场景中。

论文链接：https://arxiv.org/pdf/2203.16000.pdf

---

投稿作者介绍：

曹钰鑫 清华大学

清华大学在读硕士研究生，目前主要研究方向为人工智能安全，相关研究成果发表在信息安全领域顶级国际会议IEEE S&P。

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2023-05-11 StyleFool