今天给大家推荐的是一篇来自德国亥姆霍兹信息安全中心（CISPA）张阳研究组投稿的，如何检测和溯源虚假图片的文章—DE-FAKE: Detection and Attribution of Fake Images Generated by Text-to-Image Generation Models。目前该工作已被CCS 2023录用。

背景介绍

最近几个月来，文本到图像生成模型取得了巨大的进展，出现了类似Stable Diffusion和DALL·E 2等多种能够生成艺术作品或逼真新闻插图的高质量模型。不同于传统的生成模型 （GAN），文本到图像生成模型能够创造用于各种具体目的的高质量合成图片。例如，它们可以帮助实现小说家构想场景的具象化，可以为广告活动自动生成插画，也可以创建无法通过摄像机捕捉的物理场景。然而，这些合成的图像也会对社会造成严重的威胁。例如，攻击者可以利用生成的虚假图片传播虚假信息，恶意参加艺术比赛等等。因此，如何检测和溯源由文本到图像生成模型产生的虚假图片成为了当前研究的重中之重。

为此，文章提出了第一个检测和溯源系统——DE-FAKE。具体而言，DE-FAKE系统可以检测出由文本到图像生成模型生成的虚假图片，同时可以进一步溯源给定虚假图片的生成算法，为之后进一步可能的司法活动提供有力证据。相较于传统的检测和溯源方法，DE-FAKE首次考虑文本对虚假图像检测溯源任务的影响，创新性的引入了文本与图像混合检测方法，极大的提高了检测和溯源任务的准确度。同时，文章还进一步分析了哪一些类型的文本更容易生成更逼真的虚假图片，从而更进一步的推动了业界对文本到图像生成模型能力和可能造成的危害的理解。

虚假图片数据集

文章首先构建了由文本到图片生成模型生成的虚假图片数据集。本文考虑了四种当前前最流行的生成模型，分别是Stable Diffusion（SD），Latent Diffusion （LD），GLIDE，以及DALL·E 2。并使用了来自数据集MSCOCO和Flickr30k的文本作为虚假图片的生成文本。共生成的虚假图片如下表所示。

虚假图片检测

为了区分虚假图片和真实图片，作者构建了一个二分类器。为了验证作者的分类器具有普适的分类效果，作者考虑了一种最为困难的场景，即作者的分类器仅在一种模型生成的虚假图片上训练，但会在其他未知的模型生成的虚假图片上测试，以此来证明作者的分类器具有较好的泛化能力，能应对新的未知的模型带来的威胁。

同时，作者还提出了两种不同的检测方法，基于图片的检测和混合检测。

*基于图片的检测（image-only detection）* 上图红色部分展示了基于图片检测的工作流程，总体而言，就是训练一个CNN分类器。完成训练后，文章使用未知模型生成的图片来进行检测。基于图片的检测也可以作为虚假图片检测的基线（baseline）。

*混合检测（hybrid detection）* 上图绿色部分展示了混合检测的工作流程。与基于图片的检测不同，混合检测首次考虑了文本对于检测效果的影响，创新性的采用了文本与图片相结合的方式进行检测。具体而言，对于每一个文本-图像对照组，文章首先利用CLIP模型生成对应的文本和图像的向量表示 （embedding）。接着将文本向量和图像向量相结合，并使用新组合成的向量训练CNN分类器。值得注意的是，在日常生活中，我们往往很难获得给定图片的对应文本。在这种情况下，作者会使用BLIP模型来为给定图片生成对应的文本描述，接着再使用混合检测法的流程进行检测。因此，即使混合检测法需要文本的参与，在没有文本的情况下，该检测模型依然有效。在实验部分文章会介绍使用自然的文本和生成的文本对检测效果的影响。

实验结果

鉴于之前的传统生成模型的检测工作都号称具有泛化能力，作者首先采用他们的模型（forensic classifier）作为基线。上图展示了检测结果。可以看出，之前工作提出的模型在新的领域中并不能达到很好的效果。作者认为这是因为传统生成模型和文本到图像生成模型本身的不同导致的。另外可以看出，一方面，基于图片的检测在部分情况下拥有较好的效果，但混合检测方案在几乎所有的情况下都有很好的效果。并且，如果能够获得原始的文本描述，也能一定程度上提升混合检测的模型表现。

本文还进一步展示了虚假图片和真实图片在频域上的不同，如上图所示。可以看出，即使虚假图片非常逼真，在进行傅里叶转化后的频域空间上，依然表现出了和真实图片不同的特性。这也是检测模型能够有较好效果的根本原因。

此外，本文还进一步探索了引入文本可以极大的提升检测效果的潜在原因。如上图所示，可以看出，对于给定的文本，虚假图片往往更接近文本描述。这是因为虚假图片是基于该文本生成的，因此很难拥有文本描述以外的东西。相反，真实图片中的一些微小事物，比如背景里的树，往往不会被概括进文本描述中。真实图片和虚假图片在文本描述上的距离的不同导致了引入文本能够极大的提升检测效果。

虚假图片溯源

除了对虚假图片进行检测之外，本文还进一步希望能够对虚假图片进行溯源，即找到生成该虚假图片的模型。与检测任务类似的，文章也提出基于图片的溯源和混合溯源。文章将上一部分的二分类器改为了多分类器，并引入了更多的训练和测试数据。

实验结果

由上图可以看出，本文提出的模型可以达到较高的溯源准确率，这也证明了不同模型产生的图片具有各自的特点。同时，该结果也展显出在溯源任务上，引入文本的混合溯源方案还是能取得更高的溯源结果。

更进一步的，本文在频率空间上展示了不同模型产生的虚假图片的不同，如上图所示。可以看出，每种模型生成的图片在频域空间上确实有不同的表现，而SD和LD因为算法类似的原因，产生的频域图也更为类似。

以上种种结果表明，文章提出的检测和溯源模型具有较好的效果。

文本分析

更进一步的，文章分析了哪些文本能够更好的生成虚假的图片。文章使用上一部分的检测模型的置信度作为给定虚假图片真实性的度量单位。如果某张图片能够被检测模型错误的分类为真实图片，则文章认为这张图片是具有高真实性的。

文章将文本按照语义和结构进行了分类，从语义角度来说，文章首先利用文本数据集本身的标签，度量了不同的标签产生高真实性图片的情况，结果如下图所示。

可以看出，滑雪和滑雪板类别更容易产生真实的图片，但经过了人工检查，文章发现这一类别中大部分的描述都具有另外一个语义：人。因此，文章采用了对文本进行聚类，重新分析不同文本的语义区别。文章首先使用sentence transformer将文本转化为向量空间，接着使用DBSCAN对向量空间进行自动聚类。通过人工分析，作者发现最容易产生高真实性图片的文本往往都包括’人‘的描述，因此，作者认为包含人的描述更容易生成高真实性的虚假图片。

同时，作者还分析了不同的文本结构对图像真实性的影响，如下图所示。

可以看出，当句子长度在25-75的时候，文本更容易产生高真实性的图片，而较长的句子往往会产生更虚假的图片。同时句子中的名词占比不会明显影响生成图片的真实性。

总结

本文提出了DE-FAKE检测系统，对文本到图片生成模型产生的虚假图片进行了系统的检测和溯源。本文发现虚假图片之间往往存在共性并且不同模型产生的图片往往也具有各自的个性。本文提出的混合检测溯源方案能更好的帮助业界和学界检测和溯源虚假图片。同时，文章还分析了哪些类型的文本能够产生高质量虚假图片。

论文下载：https://arxiv.org/pdf/2210.06998.pdf

投稿作者：

沙泽阳 德国亥姆霍兹信息安全中心(CISPA)

德国CISPA张阳研究组在读博士研究生，研究方向为机器学习的安全与隐私问题，相关研究成果已经发表于国际计算机视觉会议CVPR和国际安全会议CCS上。

个人主页：https://zeyangsha.github.io/

原文始发于微信公众号（安全研究GoSSIP）：G.O.S.S.I.P 阅读推荐 2023-06-08 DE-FAKE