深度伪造和科学知识的传播

admin 2023年9月11日11:38:53评论16 views字数 6441阅读21分28秒阅读模式

深度伪造和科学知识的传播

深度伪造和科学知识的传播


从气候变化到疫苗等主题的误导信息会对公共政策产生重大影响。基于AI的篡改视频和照片的方法(深度伪造)降低了大规模创建和传播逼真的、被操纵的数字内容的门槛。随着学习者和教育工作者依赖视频获取和分享信息,教育利益相关者接触深度伪造内容的风险也在增加。2023年8月18日,由兰德公司、卡内基梅隆大学等机构研究人员联合发表于《Nature》旗下刊物《Scientific Reports》的文章开展了一项研究,以了解深度伪造对教育利益相关者的影响程度,以及降低影响程度的因素。元战略编译文章内容,探讨深度伪造与科学知识传播的关系以及应对深度伪造的有效策略。



1

引言


各年龄段学习者对互联网的广泛使用,使教育材料的开发和获取更加民主化。事实上,K-12(K-12教育是美国基础教育的统称,是指从幼儿园到12年级的教育)阶段的学生都是数字原住民,他们使用YouTube等各种在线平台完成学术作业,并对信息来源的可靠性做出不同程度的判断。社交媒体和其他在线信息来源也为终身教育提供了便利,促进了个人的持续发展。然而,社交媒体和其他平台上错误信息的泛滥增加了接触故意误导性教育内容的风险。


接触网络误导信息的后果严重程度和范围不一,通常取决于具体情况。虽然主流信息之外存在许多类型的错误信息,但与科学、技术、工程和数学(STEM)相关的错误信息,如气候变化和疫苗,已对公共政策产生了重大影响。社交媒体和现代传播方式促进了错误信息的快速传播,扩大了这些影响。错误信息的传播往往依赖于破坏共识、强调不确定性、削弱领军人物和机构的公信力,以及传播伪科学替代品。


开源人工智能(AI)算法的出现大大降低了篡改视频和图像以制作高度逼真、被操纵的数字内容(如深度伪造)的门槛。生成式神经网络(GNN)是一类深度神经网络模型,代表了最先进的技术,可用于大规模合成经过处理的数字内容。该技术已被用于通过训练编码人类特征来制作图像,通过替换数字图像或视频的特定组件来处理图像,以及通过具有源视频特征的静态图像动画来制作视频。


这项研究调查了K-12教育的学生、高校学生、教师、校长和普通成人学习者易受与气候变化相关的深度伪造影响的程度,并调查了可用于缓解影响程度的潜在群体和视频特征。要成功设计、开发和部署用于深度伪造检测的人机团队及其他缓解策略,就必须全面了解个体成功检测深度伪造的能力、调节深度伪造对个体影响程度的特征以及影响成功检测的数字内容特征。然而,目前还没有可用的辅助数据。


鉴于青少年和成人学习者越来越多地接触和依赖现成的数字教育内容,在STEM教育中尤其需要检测和减少深度伪造


气候变化是STEM领域特别值得探讨的一个方面,因为气候变化的两极分化性质使这一领域很容易受到数字错误信息的影响。除了深度伪造信息外,气候变化的误导信息无处不在,并且通常依赖于接收者的动机型认知(motivated cognition)来抵御意识形态或经济上具有威胁性的科学证据,从而获得人们的兴趣。媒体素养薄弱,尤其是K-12年级学生的媒体素养薄弱,也被证明是易受错误信息影响的一个因素。AI算法的出现,尤其是用于制造深度伪造的算法,增加了人们接触令人信服的气候变化相关错误信息的风险。此外,目前尚不清楚深度伪造是否提供了新的威胁矢量(threat vectors,即“威胁是什么,以及威胁来自何方”),可以利用与主流气候变化误导信息类似的漏洞,或者深度伪造是否扩大了误导信息的攻击面。


总体而言,美国成年人和教育工作者正确识别深度伪造视频的可能性低于真实的视频,而初中生和大学生识别深度伪造视频的可能性高于真实的视频。然而,不同深度伪造的视频对个体的影响程度不同,并且差异较大。异质性分析(Heterogeneity Analysis)表明,个体受影响的程度随年龄、政治倾向和对信息来源的信任度而变化。此外,随着受试者接触到更多潜在的深度伪造,其受影响的程度也会急剧上升,这表明如果不采取教育干预措施,深度伪造的危害性会变得越来越大。最后,研究团队讨论了研究结果对制定打击以STEM为重点的深度伪造和社会缓解策略的影响。


2

研究问题


主要研究问题是,希望了解深度伪造视频对每个群体的影响程度:

1. 收到深度伪造视频对个体正确识别视频真伪的能力有什么影响?


次要研究的问题是,利用调查研究中的情境问题来揭示易受影响的驱动因素和减少深度伪造的潜在途径,这些问题如下:

2. 受试者通过分析视频的哪些特征来确定视频的真实性,这些特征与正确识别视频真实性的概率有何关系?

3. 由于受试者的自身特征和信仰不同,深度伪造视频对个体正确识别视频真伪的能力有何影响?


3

结果


(一)受试者正确识别深度伪造视频和真实视频的能力

在所有视频中,有相当比例的受试者在收到深度伪造视频或真实视频时,无法正确识别视频的真实性。对群体中所有视频的回答正确率平均后发现,约有27%-50%的教育利益相关者无法正确识别视频的真伪。这些深度伪造视频(与气候变化相关)与那些深度伪造视频(与以选举为重点的政治导向相关)以及虚假视频(与背景无关)的影响程度相似,表明不同背景下的深度伪造视频的影响程度可能是一致的。这些比率也与个体对未经AI修改的数字图像的敏感度密切相关


研究结果进一步表明,在所有视频中,与收到真实视频相比,收到深度伪造视频的成人和教育工作者正确识别视频真实性的概率降低了6%(校长)到11%(成人)。根据正确识别视频真伪的受试者比例,这些估计值表明回答正确率下降了10%(校长)到19%(成人)。相比之下,学生群体检测深度伪造视频(与真实视频相比)的能力更强。此外,收到深度伪造视频对回答“无法判断”的概率影响很小,在统计上也不显著,这意味着深度伪造视频在成人和教育工作者群体中诱导受试者做出了错误的回答,而在学生群体中则诱导受试者做出了正确的回答。


然而,这些总体结果掩盖了重要的异质性,因为受试者正确识别深度伪造视频和真实视频的准确率在不同视频之间存在差异。还需要进行更多的研究,以了解这种异质性的驱动因素。不过总体而言,研究结果表明,在本研究中,没有任何群体能够幸免于深度伪造视频的欺骗


(二)受试者易受深度伪造影响的视频特征

确定深度伪造视频的特征,从而缓解个体受到其影响的程度,是制定应对措施的重要一步。了解受试者在决策过程中关注了视频的哪些特征,以及视频真实性对决策过程的影响,有助于了解受试者的认知过程。


受试者在收到深度伪造视频时,倾向于更多地使用深度伪造视频技术层面的特征(如面部特征、视频背景、整体视频质量),而较少使用视频社会层面的特征(如所分享信息的可信度)或音频质量。


决策过程中受试者使用视频分析与正确识别视频真伪可能性之间的关系。这些结果表明,在决策过程中使用视频的整体质量和演讲者的面部特征与正确识别深度伪造视频的概率显著增加有关,但与正确识别视频的概率无关。收到深度伪造视频时,在决策过程中使用视频技术层面的特征会降低观看者的影响程度。这一发现与之前的研究结果一致,即关注视频技术层面的特征可以降低深度伪造视频对成人的影响程度。事实上,最近的研究表明,面部认知处理是评估视觉媒体真实性的一种有效的技术。


在收到深度伪造视频时,较少使用视频社会层面的特征进行决策并不总是最佳的,尤其是对成人而言。如果成人和教师在决策过程中使用他们对演讲者观点的熟悉程度,那么他们正确识别深度伪造视频的可能性就会提高约22%,利用内容的可信度也有助于成人和教师准确识别视频真伪。通过教育大众评估深度伪造内容的社会背景,如内容可信度、演讲者身份等,为制定相比于关注技术层面的特征提供了更有力的策略。这一发现与传播科学/信息误导领域的最新研究进展相吻合,因为人们发现,先验知识水平越高,认知反思能力就越强,对错误信息的易感性就越低。事实上,从长远来看,对深度伪造视频技术层面的特征进行评估的价值可能会下降,因为深度伪造视频生成技术预计将继续快速发展,并且制作出与真实视频无异的内容。


(三)易受深度伪造影响的受试者特征

这项实证研究中调查工具的设计有助于了解受试者的特征和信念如何调节他们受到深度伪造的影响程度。此外,研究结果显示,受试者的种族、对气候变化的看法、觉察深度伪造的能力、觉察深度伪造的风险、气候变化知识、信息消费频率、社交媒体使用频率、城市化程度、在科学或数学相关领域工作或任教、收入和教育程度等因素并不能持续调节不同群体觉察视频真实性的能力。


在普通成年人和教师群体中,检测深度伪造视频的能力随着年龄的增长而下降。我们发现,年龄每增加一岁,正确识别深度伪造视频的可能性就会降低0.6%。在校长、中学和CMU学生中也观察到了类似的趋势,但这些关系在统计上并不显著。这一发现与以往的研究结果形成了鲜明对比,以往的研究发现,受到数字错误信息影响的程度随年龄的增长而降低。这些研究中的数字错误信息并不包括深度伪造信息,这表明深度伪造信息是一种独特的错误信息模式,它对信息消费者的影响不同于其他错误信息途径。虽然还需要进一步研究才能更好地了解老年人更容易受到误导的机制,但相关研究表明,老年人更容易受到误导的原因可能是对社交媒体的信任度更高,更难识破谎言,以及对社交媒体的熟悉程度较低。这些结果表明,应优先将老年群体作为深度伪造缓解策略的目标受众,这是第一项发现老年人信息消费者更容易受到深度伪造信息影响的研究。


易受深度伪造影响的程度与受试者政治倾向之间的关系也表明,深度伪造可被视为一种不同类型的错误信息。研究发现,在成人和校长群体中,政治保守派的人比政治自由派的人正确识别深度伪造的可能性要低10%-15%。然而,在教师群体中,政治保守派的人比政治自由派的人正确识别深度伪造的可能性要高约13%。政治保守派的教师受深度伪造影响程度降低的原因尚不清楚,但这一发现表明,接触深度伪造内容可能不会触发个体的身份保护认知(identity protective cognition),而这一因素通常与政治保守派受众更容易接受气候变化的错误信息有关。未来的研究需要进一步了解不同群体的参与信念和观点如何与深度伪造内容以及社会背景相交织,从而产生这些更细致入微的结果。


然而,与其他STEM的错误信息模式相似,我们发现,个人对信息来源(如社交媒体、报纸等)的信任度会影响他们对深度伪造信息的易感性。旨在通过普及信息验证技术(information verification techniques)来打击错误信息以提升媒体素养(media literacy)的方法,可能是一种非常有前景的缓解策略,可以降低深度伪造对人们的影响程度。


研究结果还表明,其他缓解策略,如通过反复接触深度伪造信息来训练信息消费者识别深度伪造视频的能力不太可能成功,并且可能会加剧深度伪造对人们的影响程度。如果不开展有关深度伪造的科普教育,持续接触潜在的深度伪造信息可能会对人们造成更多的混淆,从而导致深度伪造信息的影响恶化


4

结论


由于社交媒体平台和无处不在的技术使得错误信息泛滥,而新兴技术又降低了产生信息的门槛,因此社会正处于错误信息的拐点。STEM相关的错误信息对社会构成了巨大威胁,因为它可能阻碍应对气候变化等全球挑战所需的政策改革。迄今为止,技术的局限性意味着错误信息通常是通过印刷品、篡改静态照片或有选择地剪辑视频来传播的。生成式神经网络有助于制作高度逼真的深度伪造视频,而制作这些视频并不需要非常专业的知识,这为传播和打击误导信息开辟了一条新战线。了解主要利益相关者易受深度伪造视频影响的程度以及影响易受影响程度的因素,对于制定和实施强有力的缓解策略至关重要。本研究通过分析一组具有全国代表性的美国成年人、教师和校长、全国大量的中学生样本以及技术导向型的本科生和研究生样本,为实现上述目标迈出了第一步。我们的研究结果具有三大意义。

首先,研究发现深度伪造视频的质量已经足以造成严重混淆,使所有教育利益相关者都很容易受到影响。K-12年级学生易受深度伪造的影响使得学生有可能将错误的科学信息当作事实,并对科学、科学过程和科学的政策影响产生错误的看法。如果这些错误观点不受到质疑,随着学生逐渐成熟并进入社会岗位,这些错误观点就会逐渐固化,从而对政策产生更直接的影响。成年人,尤其是教师和校长的脆弱性可能更令人担忧。教师和校长必须将当代科学问题综合起来并传达给学生,错误信息对他们的影响程度可能会转化为不经意间将信息传授给学生。此外,随着学生越来越多地接触和依赖网络信息,教育工作者更没有能力对学生带入课堂的错误信息进行辟谣。成年人的脆弱性意味着家长可能无法防范他们的孩子所接触到的错误信息,并可能在传播错误信息中扮演重要角色。

其次,研究发现使用视频技术层面的特征(如整体视频质量、面部特征)可以帮助受试者更准确地检测出深度伪造视频,但使用视频社会层面的特征(如演讲者的知识、内容的可信度)可以帮助受试者更准确地识别出深度伪造视频和真实视频。虽然之前的研究侧重于视频技术层面以及人工检测和算法检测之间的相互作用,但研究结果表明,视频的社会背景也是需要考虑的关键因素。因此,通过教育信息消费者评估数字内容的社会特征,可能会为减少深度伪造的策略提供新的焦点,而这种策略可能比关注技术层面的特征更加有力。从长远来看,深度伪造技术预计将继续朝着制作与真实视频无异的内容方向快速发展,从而削弱人们使用技术层面的特征对深度伪造视频进行视觉评估的效用。

最后,研究发现个体的一些特征可以指导缓解深度伪造的战略制定和实施。第一,老年人往往表现出更高的脆弱性,因此应针对这一群体制定具体的教育干预措施。第二,研究发现,受试者对信息来源(包括印刷品、同行和网络来源)的信任度越高,就越容易受到深度伪造的影响,这表明提高媒体素养的方法也能有效打击深度伪造。第三,其他类型的缓解策略,如那些依赖于反复接触深度伪造内容的策略不太可能成功,而且可能会加剧对受试者的影响程度。后一种结果进一步强调了开展深度伪造检测普及和教育的必要性,因为反复接触潜深度伪造的内容会增加人们的混淆,使得深度伪造成为传播错误信息更有力的媒介。


5

方法——伦理考虑


深度伪造在传播错误信息方面的潜在危害,以及将初中生等易受影响群体纳入研究范围,均引发了重要的伦理问题。一方面,这类研究至关重要,因为要了解个体对深度伪造的反应,就必须有控制地接触深度伪造内容。另一方面,在任何情况下让个体接触深度伪造都可能产生意想不到的结果。例如,研究结果表明,反复接触深度伪造会使个体更容易受到未来深度伪造的影响。


这项研究的一个重要贡献是,强调了开展专门的研究以了解有效的科普和教育能够减少深度伪造带来危害的必要性,研究结果表明,这些策略应包括深度伪造的社会背景



免责声明:本文转自元战略,原作者Zoie Y. Lee。文章内容系原作者个人观点,本公众号编译/转载仅为分享、传达不同观点,如有任何异议,欢迎联系我们!


推荐阅读

技经观察丨从前沿技术入手,破解AI能源资源困局

技经观察丨生物武器威胁的演变与全球生物安全治理的探索

技经观察丨从拜登政府政策看:美前沿科技领域人才培养的最新实践

技经观察丨人工智能生成技术的深度伪造风险与应对

技经观察丨“核”心竞争——深空探索未来可期


转自丨元战略

作者丨Zoie Y. Lee

深度伪造和科学知识的传播


研究所简介


国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。


地址:北京市海淀区小南庄20号楼A座

电话:010-82635522

微信:iite_er


深度伪造和科学知识的传播




原文始发于微信公众号(全球技术地图):深度伪造和科学知识的传播

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年9月11日11:38:53
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   深度伪造和科学知识的传播https://cn-sec.com/archives/2021878.html

发表评论

匿名网友 填写信息