G.O.S.S.I.P 阅读推荐 2023-01-10

admin 2023年1月10日23:18:45安全闲碎评论5 views3043字阅读10分8秒阅读模式

本文是一篇来自CISPA Helmholtz Center for Information Security张阳研究组的文章—“On the Evolution of (Hateful) Memes by Means of Multimodal Contrastive Learning”,主要内容为利用多模态学习模型分析和识别恶意memes,该工作已被IEEE S&P 2023接收。

G.O.S.S.I.P 阅读推荐 2023-01-10

Memes,常被称为梗图/表情包,由于幽默、自嘲等特性被广泛传播。然而,在如4chan等社交平台上,恶意memes的传播严重损害了网络环境。目前。对于恶意memes的语义理解和识别任务并不容易。一方面,由于 memes本身是多模态信息的产物,其常常作用于不同的语境,融合了视觉信息和文本信息,传统的单模态AI模型在研究memes时非常局限;另一方面,恶意memes天然具有演化过程(evolution),其易结合当时的热点演化出各种变体。这些变体容易绕过当前的流行的检测方法比如鉴别pHash、人工举报等。因此,让模型理解和识别恶意memes是当前平台内容规范的一大难题。

G.O.S.S.I.P 阅读推荐 2023-01-10

近年来,多模态模型迅速发展,在视觉问答、图像生成、视频描述等各领域表现优异。多模态模型能够能够同时处理memes的图像和文本信息(如meme所在语境),相较于单模态模型,其能够更为准确地进行memes语义理解任务,进一步识别出恶意memes。

在本文中,作者应用了当前最先进的多模态预训练模型之一—CLIP,用于大规模数据集中恶意memes的分析和识别工作。特别地,以4chan数据集为例,本文发现了CLIP学习到的特征(embedding)上存在的新属性,即语义规律,并利用该属性分析恶意memes的演化问题,从而提出两种恶意memes的识别框架。案例研究的结果表明,两种框架均能够有效地识别出恶意memes演化的变体,并各自适用于不同的场景。

多模态特征上的语义规律

CLIP能够同时学习文本和图像特征,并弥补了这两种不同模态信息的语义鸿沟(semantic gap)。本文发现,将4chan数据的图像-文本对输入到CLIP中,得到的特征向量上存在着类似于Word2vec向量的语义规律。比如,在Word2vec输出的词向量中,我们可以通过加减操作得到如下的语义关系:king+woman-man->Queen。语义关系也可以在由CLIP得到的图像以及文本特征中传递,并且也可以通过加减操作实现语义转移,如下图所示。此研究将语义关系在图像特征上的转移称为视觉语义规律,将语义关系在图像及文本特征上的转移称为视觉-文本语义规律。这些发现为解析恶意memes的演化提供了新的思路。

G.O.S.S.I.P 阅读推荐 2023-01-10

恶意memes的演化过程通常起源于一个原始的恶意meme,例如象征反犹太主义的Happy Merchant。原始的meme和其他的概念融合,重新创作形成新的meme变异体(Variant),其中,影响原始meme的概念称为变异因子(Influencer)。比如,Trump和原始的Happy Merchant相融合所形成的Trump版本的meme是一个Variant,而Trump是此过程中的Influencer。Influencer既可以是一张图像(如Trump图片),也可以是一段文本(如Trump字段)。在本文中,当Influencer为图像时,我们可以提取通过CLIP图像特征上的视觉语义规律识别Variant以及相应的Influencer;而当Influencer为文本时,我们则可以通过提取视觉-文本语义规律来定向地识别演化过程中的Variant。接下来,作者具体展示了两种不同的语义规律的提取方法及结果。

提取视觉语义规律

当Influencer为图像时,以下关系近似成立:原始meme图像特征 + Influencer图像特征 = Variant图像特征 。当原始meme被固定,我们可以先确定Variant,然后依据以上等式寻找相应的Influencer。最后根据设定的阈值删选出高质量的Variant-Influencer对。具体地,由于Variant和原始meme共享部分视觉特征,我们可以通过计算其特征的相似度检测数据集中的由原始meme演化出来的Variant;然后对于每一个检测出的Variant,寻找和Variant特征-原始meme特征最接近的图像作为Influencer。作者用Happy Merchant作为原始meme进行案例分析,测验了上述框架的检测效果,共识别到3.3K对Variant和Influencer。采样标注的结果表明,以上框架能够检测78%的Variant,53%的Influencer被精确地定位。下图展示了最流行的前20对Variant-Influencer。此框架适用于在大规模数据集上广泛地识别某恶意meme演化的Variant及Influencer,使研究者对此恶意meme的演化形成全局的认识。

G.O.S.S.I.P 阅读推荐 2023-01-10

提取视觉-文本语义规律

当Influencer为文本时,以下关系近似成立:原始meme图像特征 + Influencer文本特征 = Variant图像特征 。在这种情况下,作者提出了一种更为高效的检测方法:预先给定一个Influencer的文本集合,并固定原始meme,即可通过上述等式直接定位出演化的Variant(假如存在)。作者对4chan数据集进行了命名实体识别,收集到包括人物、国家、民族以及组织4个类别共116个最受欢迎的命名实体(名词概念)作为Influencer集合。同样以Happy Merchant为案例,作者发现80%有关民族的命名实体有对应的Variant图像,相应地,76.7%有关国家、48.3%有关人物以及44.4%有关组织的命名实体也成功发现了对应版本的Happy Merchant。下图展示了每个类别中10个Variant例子。与上述框架不同,此框架集中、定向地识别某恶意meme演化的Variant,适用于小范围Variant的监测。

G.O.S.S.I.P 阅读推荐 2023-01-10

上述框架均用于解析恶意meme的演化问题,除此之外,依靠CLIP的多模态信息处理能力,作者还在meme上探索了其他有趣的任务,例如在融合了视觉信息和文本信息的meme向量上进行聚类,将百万级别的meme数据快速聚类为meme簇。由于CLIP连接了meme图像以及对应的文本,同一簇的图像和文本属于同一语义,因此可以互相表达。利用这一特性,作者利用同一簇的文本来为meme簇进行命名,并对每个簇的恶意程度进行了测量。

基于上述研究结果,此工作对于社交平台有如下启示:1)所提出的检测框架可用于大规模识别恶意meme及其演化的各种变体,在规范平台内容方面相较于人工举报等方式大大提高了效率;2)检测框架的结果可用于更深度的分析,比如演化速度、范围以及目标,方便平台管理者多角度监控恶意meme,避免其演化成大规模的网络仇恨事件。

论文下载:https://arxiv.org/pdf/2212.06573.pdf
代码连接:https://github.com/YitingQu/meme-evolution


投稿作者介绍:
瞿艺婷 德国亥姆霍兹信息安全中心(CISPA)
目前是德国CISPA在读博士生,研究方向为以memes为主的信息安全问题,相关研究成果以论文的形式发表在国际安全顶级会议IEEE S&P 2023上。


原文始发于微信公众号(安全研究GoSSIP):G.O.S.S.I.P 阅读推荐 2023-01-10

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年1月10日23:18:45
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  G.O.S.S.I.P 阅读推荐 2023-01-10 https://cn-sec.com/archives/1511794.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: