简析《人工智能生成合成内容标识办法》

admin 2025年3月17日21:23:18评论7 views字数 15700阅读52分20秒阅读模式

简析《人工智能生成合成内容标识办法》

上海观安信息技术股份有限公司

简析《人工智能生成合成内容标识办法》

以下内容为个人学习总结,不代表权威言论

声明

本文是针对《人工智能生成合成内容标识办法》学习总结。《办法》是刚刚发布的强制国家标准GB 454382025《网络安全技术 人工智能生成合成内容标识方法》的助推剂,在对《办法》学习总结中,全文参考并摘录了《人工智能生成合成内容标识办法》、网信有关负责人有关《标识办法》答记者问讲话、《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》以及GB 454382025《网络安全技术 人工智能生成合成内容标识方法》相关内容。在部分数据的索引中,选择了Kimi作为索引工具,最终完成本文的编写。

导言

人工智能(Artificial Intelligence,简称AI)是一门致力于开发能够模拟、延伸和扩展人类智能的计算机系统和机器的科学与技术领域。它旨在使机器具备感知、理解、学习、推理、决策和行动等类似人类智能的能力,从而执行通常需要人类智能才能完成的任务,例如理解语言、识别模式、解决问题和做出决策等。人工智能技术随着大模型技术的不断发展和完善市场规模迅速增长,目前全球人工智能市场规模在2023年已达到约11879亿元人民币,我国人工智能市场规模在2023年也达到了数千亿元,并预计在未来几年内保持高速增长。

人工智能已广泛应用于医疗、金融、教育、交通、安防、娱乐等众多行业,改变了传统业务模式和服务方式,提升了行业效率和服务质量。例如,在医疗领域,AI辅助诊断系统能够帮助医生更准确地检测疾病;在金融行业,AI风控系统可以有效识别风险,降低损失。随着技术不断突破使得人工智能从自然语言处理、计算机视觉、机器学习等领域取得了显著进展。深度学习、强化学习等算法的优化,以及多模态融合、大规模预训练模型等技术的发展,推动了AI系统的性能不断提升。

虽然人工智能发展迅速,但也面临着诸多挑战,如数据隐私和安全保护、伦理和法律问题、技术瓶颈、人才短缺等。同时,随着技术的不断进步和应用场景的拓展,AI行业也迎来了更多的发展机遇。近年来,人工智能在生成合成文字、图片、音频、视频等信息技术的快速发展,海量信息得以快速生成合成并在网络平台传播,在促进经济社会发展的同时,也产生了生成合成技术滥用、虚假信息传播扩散加剧等问题,引发社会各界的关注关切。

人工智能生成合成(Artificial Intelligence Generated Synthesis)是指利用人工智能技术,通过深度学习、生成对抗网络等算法,自动生成新的文本、图像、音频、视频、虚拟场景等内容的过程。这些内容并非完全由人类创作,而是由人工智能算法根据已有的数据和模式进行模拟、生成。在大量的人工智能合成过程中,利用技术实施违法犯罪及侵权责任的行为也在井喷式产生,常见的类型包括:

l诈骗类:随着面部识别技术作为生物识别的重要手段被各行各业广泛使用,电诈团伙及网络黑灰产人员利用人工智能合成技术伪造面部特征绕过认证,或者通过AI合成照片、视频来欺骗认证;甚至还可以通过AI变声和换脸在网络中假冒他人实施身份欺诈等行为层出不穷,其主要滥用场景包括:

n冒充熟人诈骗:有不法分子利用AI换脸技术,将他人的脸换成熟人或亲人的脸,冒充诈骗对象的重要关系人,通过合成视频或照片来“以假乱真”,进而实施诈骗。例如,天津红桥警方在一起AI诈骗案中,成功追回市民被骗的83万元。

n虚假身份诈骗:不法分子通过AI技术“换脸”“变声”,甚至是“动态换脸”,冒充他人身份,增加传统犯罪活动的危害性。如江西省鹰潭市余江区人民法院宣判的全国首例“AI游戏外挂”案,被告人通过制作出售“AI外挂”的方式牟利,干扰了游戏的正常运行环境。

l侵权类:不法分子不仅仅能够通过伪造面部信息和声音实施诈骗,同样,该技术通过视频和音频合成技术形成的民事侵权责任也被扩大化,常见的利用合成视频替换声音和内容,在各类直播平台被广泛使用,这使得被侵权人不仅要承担名誉损害,还可能面临其他相关立法的追溯。

n侵犯肖像权和声音权:一些公众人物的声音和形象未经授权被用于制作恶搞视频或带货广告,这不仅损害了当事人的合法权益,还暴露了当前AI技术在应用过程中面临的种种挑战。例如,张文宏的声音被AI模仿用于直播带货,相关账号屡禁不绝。

n侵犯名誉权:如果AI合成的他人形象或声音被用于虚假、恶意或误导性的内容,导致公众对该人物产生负面评价或误解,进而影响其名誉,则可能构成侵犯名誉权。

l虚假信息传播类:虚假信息合成具备普遍的社会影响,从疫情期间产生的大量虚假新闻被BBC、法国有线新闻网等国外各大媒体竞相发布,并利用合成技术编造大量的诋毁我国防疫政策和措施的新闻视频和图片。几年来,随着该技术的不断工具化、傻瓜化和便捷化,更多的虚假信息在各种自媒体平台不断产生,严重扰乱社会秩序。常见类型包括:

n编造虚假新闻:像“云南山体滑坡致8人遇难”“新疆乌什地震房屋连片倒塌”“云南某地暴雨洪水齐腰”等谣言,皆由AI特效炮制,利用公众对灾难的关注虚构伤亡情况,严重扰乱社会秩序。

n制作淫秽视频:有人利用AI换脸技术,将从互联网等渠道收集到的被编辑人人脸信息与部分淫秽视频中的主体人脸信息进行替换合成,制作生成伪造视频,并在社交群组中发布,严重侵犯了他人的个人信息权益。

202537日国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合签发《人工智能生成合成内容标识办法》(以下简称办法),针对符合《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》规定情形的网络信息服务提供者(以下简称“服务提供者”)开展人工智能生成合成内容标识活动(第二条)。根据《中华人民共和国网络安全法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律、行政法规和部门规章制定“办法”,通过本办法促进人工智能健康发展,规范人工智能生成合成内容标识,保护公民、法人和其他组织合法权益,维护社会公共利益。

2. 适用场景

本办法第三条主要针对人工智能生成技术中合成内容建立标识管理。人工智能生成合成内容 (content generated by artificial intelligence)指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。办法要求能够通过“标识”提醒用户辨别虚假信息,明确相关服务主体的“标识”责任义务,规范内容制作、传播各环节标识行为,以合理成本提高安全性,促进人工智能在文本对话、内容制作、辅助设计等各应用场景加快落地,同时减轻人工智能生成合成技术滥用危害,防范利用人工智能技术制作传播虚假信息等风险行为,推动人工智能健康有序发展。

国家强制标准GB-454382025《网络安全技术 人工智能生成合成内容标识方法》对人工智能生成合成内容标识(label of content generated by artificial intelligence)做出明确定义,“表明某个内容是人工智能生成合成内容的信息。”标准中特别指出“标识”可包含生成合成服务提供者和内容传播服务提供者等信息。人工智能生成合成内容标识包括显式标识和隐式标识。

l显式标识(explicit label)是指在生成合成内容或者交互场景界面中添加的,以文字、声音、图形等方式呈现并可以被用户明显感知到的标识。主要用途是向公众提示内容由人工智能生成合成;显式标识按照标识对象可分为内容显式标识、交互场景界面显式标识。内容显式标识可进一步分为文本、图片、音频、视频、虚拟场景等显式标识,交互场景界面显式标识可进一步分为在内容附近的显式标识和交互场景界面适当位置的显式标识。

l隐式标识(implicit label)是指采取技术措施在生成合成内容文件数据中添加的,不易被用户明显感知到的标识。主要用途是记录生成合成内容相关信息;隐式标识按照标识位置可分为文件元数据隐式标识、内容隐式标识(例如在生成合成内容中添加的数字水印)等。

国家互联网信息办公室有关负责人就《标识办法》有关问题答记者问中提到,针对在文本内容中添加隐式标识,在多媒体文件中添加数字水印,仍是技术难点或可能增加企业成本,不作强制要求。为降低平台企业标识成本,提升落地实施的可操作、可执行性,创新提出文本符号标识、音频节奏标识、文件元数据标识等低成本实施的可行方法。

办法第二条针对适用指出本办法适用于“符合《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》规定情形的网络信息服务提供者(以下简称‘服务提供者’)开展人工智能生成合成内容标识活动”根据本条规定,结合上述范围,本办法管理适用组织如下表所示:

管理文件

服务类型

监管机构

《互联网信息服务算法推荐管理规定》

在中华人民共和国境内应用算法推荐技术提供互联网信息服务(以下简称算法推荐服务)

即:利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息

网信部门

电信

公安

市场监管

《互联网信息服务深度合成管理规定》

在中华人民共和国境内应用深度合成技术提供互联网信息服务(以下简称深度合成服务)

深度合成服务提供者,是指提供深度合成服务的组织、个人。

深度合成服务技术支持者,是指为深度合成服务提供技术支持的组织、个人。

深度合成服务使用者,是指使用深度合成服务制作、复制、发布、传播信息的组织、个人。

网信部门

电信主管部门

公安部门

深度合成服务提供者和技术支持者从事网络出版服务、网络文化活动和网络视听节目服务的,应当同时符合新闻出版、文化和旅游、广播电视主管部门的规定。

《生成式人工智能服务管理暂行办法》

生成式人工智能服务提供者,是指利用生成式人工智能技术提供生成式人工智能服务(包括通过提供可编程接口等方式提供生成式人工智能服务)的组织、个人。

网信

发展改革

教育

科技

工业和信息化

公安

广播电视

新闻出版

国家互联网信息办公室有关负责人就《标识办法》有关问题答记者问中对适用范围进一步指出,《互联网信息服务深度合成管理规定》第二条明确“法律、行政法规另有规定的,依照其规定”,《生成式人工智能服务管理暂行办法》第二条第二款明确“国家对利用生成式人工智能服务从事新闻出版、影视制作、文艺创作等活动另有规定的,从其规定”。《标识办法》同样遵照上述适用条款,开展特定活动对内容标识另有规定的,从其规定。

3. 管理要求

3.1 责任与义务

国家互联网信息办公室有关负责人就《标识办法》有关问题答记者问中指出《标识办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术明确服务提供者应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识,在提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识;应当在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息;应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容,并提示用户仔细阅读并理解相关的标识管理要求。

互联网应用程序分发平台在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务,并核验其生成合成内容标识相关材料。

3.1.1 服务提供者

《办法》要求服务提供者应在生成合成内容时为合成内容添加标识;网络信息内容传播服务的服务提供者在发布内容时验证标识,对没有标识的需核验是否为合成内容,如属于合成内容,应对内容进行打标。《办法》依据《互联网信息服务深度合成管理规定》第十六条和第十七条,针对生成合成内容不同分别采用显式标识和隐式标识。如下表要求:

深度合成服务提供者对使用其服务生成或者编辑的信息内容

1.在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识,或者在交互场景界面、文字周边添加显著的提示标识;

2.在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识,或者在交互场景界面中添加显著的提示标识;

3.在图片的适当位置添加显著的提示标识;

4.在视频起始画面和视频播放周边的适当位置添加显著的提示标识,可以在视频末尾和中间适当位置添加显著的提示标识;

5.呈现虚拟场景时,在起始画面的适当位置添加显著的提示标识,可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识;

6.其他生成合成服务场景根据自身应用特点添加显著的提示标识。

深度合成服务提供者提供以下深度合成服务,可能导致公众混淆或者误认的

1.添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。

2.鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。

3.文件元数据是指按照特定编码格式嵌入到文件头部的描述性信息,用于记录文件来源、属性、用途等信息内容。

服务提供者提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识。

3.1.2 网络信息内容传播服务的服务提供者

办法在第六条针对提供网络信息内容传播服务的服务提供者提出要求,规范生成合成内容传播活动。如图:

1.核验文件元数据中是否含有隐式标识,文件元数据明确标明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,明确提醒公众该内容属于生成合成内容;

2.文件元数据中未核验到隐式标识,但用户声明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容可能为生成合成内容;

3.文件元数据中未核验到隐式标识,用户也未声明为生成合成内容,但提供网络信息内容传播服务的服务提供者检测到显式标识或者其他生成合成痕迹的,识别为疑似生成合成内容,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容疑似生成合成内容;

4.提供必要的标识功能,并提醒用户主动声明发布内容中是否包含生成合成内容。

3.1.3互联网应用程序分发平台

第七条 互联网应用程序分发平台在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务。互联网应用程序服务提供者提供人工智能生成合成服务的,互联网应用程序分发平台应当核验其生成合成内容标识相关材料。

3.1.4 用户

办法在第九条和第十条中针对用户提出相关规定和要求

在第九条中对用户申请合成内容可能产生的特定需求进行了灵活应对的措施,如在某些专业创作场景下,用户希望对生成内容进一步加工处理而非直接面向公众传播,在此过程中显示标识可能会干后后续的创作作品。此时,办法提供了合法途径,在“用户申请服务提供者提供没有添加显式标识的生成合成内容的,”服务提供者为满足用户这类特定需求“服务提供者可以在通过用户协议明确用户的标识义务和使用责任后,提供不含显式标识的生成合成内容,并依法留存提供对象信息等相关日志不少于六个月。”

作为服务提供者,首先应明确双方义务和责任,通过用户协议,清晰地向用户说明在生成合成内容标识方面的具体要求,包括标识的方法、样式等规范内容,同时明确用户在使用无显式标识内容时应承担的标识义务和使用责任。这有助于避免双方在后续使用过程中因责任不明而产生的纠纷。对于服务提供者而言,明确用户协议能够有效保护其合法权益,防止用户滥用无显式标识的内容,从而避免可能的法律风险。

在明确双方责任后,才能提供不含显式标识的生成合成内容。同时,服务提供商应依法留存提供对象信息等相关日志,日志留存期基于《网络安全法》要求,不少于六个月。以便能够在需要时对生成合成内容的流向和使用情况进行追溯。这对于监管部门来说,可以有效追踪内容的传播路径,及时发现和处理可能存在的违法违规或侵权行为。日志留存为监管部门提供

办法第十条针对用户适用网络信息内容传播服务发布生成合成内容的提出要求“应当主动声明并使用服务提供者提供的标识功能进行标识。”。用户应按规定在使用网络信息内容传播服务发布生成合成内容时,主动声明内容的生成合成属性,并使用服务提供者提供的标识功能进行标识。这明确了用户在发布此类内容时的责任和义务,确保用户意识到自己行为的规范性。避免被误导或混淆,尊重了公众的知情权,使人们在获取信息时能够做出更明智的判断。

办法在本条第二款中,针对利用生成合成内容标识的违法行为进行明确约定,“任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。”破坏标识可以带来诸多危害,例如:破坏生成内容标识会使用户难以区分真实信息和虚假信息,从而导致受虚假信息误导后的病毒式传播加剧;通过不正当标识手段,可能会侵犯他人的名誉权、隐私权等合法权益;篡改和删除生成合成内容标识会使网络信息内容的可信度降低,破坏网络生态的健康和有序以及虚假信息的传播可能会引发社会恐慌、混乱,影响社会的稳定和谐等不良后果。目前我国现行法律中没有针对“破坏标识”行为做出强有力的立法约束,但是在我国现行网络安全立法中,通过结果裁量的惯例,通过恶意删除、篡改、伪造、隐匿标识所造成的直接后果和间接后果适用《刑法》的帮信罪、非法入侵和破坏;《网络安全法》等相关条款,如果构成对国家安全影响的,可适用于《国家安全法》《反分裂国家法》等相关立法

3.2 技术要求

强制国家标准GB-454382025《网络安全技术 人工智能生成合成内容标识方法》作为配套《人工智能生成合成标识办法》的重要文件,针对建立标识提供了明确的技术要求。

标准描述了显式标识和隐式标识的基本概念、原则、适用场景及基本方法。并在附录中针对具体如何实现标识做出明确要求。

3.2.1 显式标识

3.2.1.1 概述

标准将显式标识按照标识对象可分为内容显式标识、交互场景界面显式标识。内容显式标识可进一步分为文本、图片、音频、视频、虚拟场景等显式标识,显式标识可进一步分为在内容附近的显式标识和交互场景界面适当位置的显式标识。

显式应用的典型场景根据GB-454382025《网络安全技术 人工智能生成合成内容标识方法》分类,主要包括在以下服务中:

a)智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务;

b)合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务;

c)人脸生成、人脸替换等人物图像、视频生成或者显著改变个人身份特征的编辑服务;

d)人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务;

e)沉浸式拟真场景等生成或者编辑服务;

f)文生图片等图片内容生成服务;

g)音乐创作等音频内容生成服务;

h)文生视频、图生视频等视频内容生成服务;

i)其他具有生成或者显著改变信息内容功能的服务。

3.2.1.2 显式标识声明及用例

标识对象

要求

标识技术

内容显式标识

文本

a)文本内容显式标识应采用文字或角标形式。

b)文字形式的文本内容显式标识应同时包含以下要素:

1)人工智能要素:包含“人工智能”或“AI,表明使用人工智能技术;

2)生成合成要素:包含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

c)角标形式的文本内容显式标识应包含“AI”。

d)文本内容显式标识应位于以下一个或多个位置:

1)文本的起始位置;

2)文本的末尾位置;

3)文本的中间适当位置。

e)文本内容显式标识使用的字型和颜色应清晰可辨。

自动添加提示文字:开发自动化脚本,在文本生成的起始、末尾或中间适当位置自动插入“AI生成”或“人工智能生成合成”等提示文字

简析《人工智能生成合成内容标识办法》

简析《人工智能生成合成内容标识办法》

角标生成利用文本编辑工具或编程接口,在文本的开头或结尾自动添加“AI”提示角标

简析《人工智能生成合成内容标识办法》

简析《人工智能生成合成内容标识办法》

图片

a)图片内容显式标识应采用文字提示。

b)图片内容显式标识应同时包含以下要素:

1)人工智能要素:包含人工智能“AI”,表明使用人工智能技术;

2)生成合成要素:包含生成/合成”,表明内容制作方式为生成和/或合成。 

c)图片内容显式标识应位于图片的边或角。  

d)图片内容显式标识使用的字型应清晰可辨。  

e)图片内容显式标识的文字高度不应低于画面最短边长度的5%。 

:非矩形图片的最短边指可完全将该图片包含在内部的矩形的最短边。

水印添加使用图像处理软件或编程库,在图片的右下角或其他显著位置自动添加人工智能生成合成文字水印

简析《人工智能生成合成内容标识办法》

音频

a)音频内容显式标识应采用语音标识或音频节奏标识。

b)语音标识应包含以下要素:

1)人工智能要素:包含“人工智能”或“AI,表明使用人工智能技术;

2)生成合成要素:包含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

c)音频节奏标识应为“短长  短短”的节奏。

1:“短长 短短”节奏为“AI”的摩斯码表示。

d)音频内容显式标识应位于以下一个或多个位置:

1)音频的起始位置;

2)音频的末尾位置;

3)音频的中间适当位置。

2:音频的起始位置位于生成合成的音频内容开始之前。音频的末尾位置位于生成合成的音频内容结束之后。

3:在智能语音助手、智能客服、智能导航等音频的高频交互场景中,音频的起始位置、末尾位置是指一轮交互的起始位置和末尾位置。

e)语音标识应使用正常语速。

4:汉语正常语速约在120/min~160/min

f)节奏标识应清晰可辨。

语音合成提示:借助语音合成技术,在音频的起始、末尾或中间自动插入语音提示,如“以下内容由人工智能生成”

音频节奏提示:开发自动化工具,在音频中自动添加特定的节奏或音效作为标识

简析《人工智能生成合成内容标识办法》

视频

a)视频内容显式标识应采用文字提示。

b)视频内容显式标识应同时包含以下要素:

1)人工智能要素:包含“人工智能”或“AI,表明使用人工智能技术;

2)生成合成要素:包含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

c)视频内容显式标识应位于视频起始画面,可位于视频末尾和中间适当位置。

d)视频内容显式标识应位于视频画面的边或角。

e)视频内容显式标识使用的字型应清晰可辨。

f)视频内容显式标识的文字高度不应低于画面最短边长度的5%

g)在视频正常播放速度下,视频内容显式标识持续时间不应少于2s

画面水印:利用视频编辑软件或编程接口,在视频的起始画面、播放周边、末尾或中间位置自动添加“人工智能生成合成”文字水印

简析《人工智能生成合成内容标识办法》

虚拟场景

a)虚拟场景显式标识应采用文字提示。

b)虚拟场景显式标识应同时包含以下要素:

1)人工智能要素:包含“人工智能”或“AI,表明使用人工智能技术;

2)生成合成要素:包含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

c)虚拟场景显式标识应位于虚拟场景起始画面,可位于虚拟场景持续服务过程中的适当位置。

d)位于虚拟场景起始画面的虚拟场景显式标识应位于画面的边或角。

e)虚拟场景显式标识使用的字型应清晰可辨。

f)f) 虚拟场景显式标识的文字高度不应低于画面最短边长度的5%

起始画面标识:在虚拟场景的起始画面自动添加显著的提示标识。

持续服务标识:开发自动化脚本,在虚拟场景持续服务过程中的适当位置自动添加显著的提示标识

交互场景界面

内容附近

a)交互场景界面显式标识应采用文字提示。

b)交互场景界面显式标识应同时包含以下要素:

a)人工智能要素:包含“人工智能”或“AI,表明使用人工智能技术;

b)生成合成要素:包含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

c)交互场景界面显式标识应采取以下一种或多种方式:

d)在内容附近持续显示提示文字;

e)在交互场景界面顶部、底部、背景等适当位置持续显示提示文字。

f)交互场景界面显式标识使用的字型和颜色应清晰可辨。

简析《人工智能生成合成内容标识办法》

简析《人工智能生成合成内容标识办法》

交互场景

简析《人工智能生成合成内容标识办法》

简析《人工智能生成合成内容标识办法》

3.2.2隐式标识

3.2.2.1 概述

隐式标识按照标识位置可分为文件元数据隐式标识、内容隐式标识(例如在生成合成内容中添加的数字水印)等。文件元数据(file metadata)指按照特定编码格式嵌入到文件中的描述性数据,用于记录文件来源、属性、用途、版权等信息。文件元数据包括:

1.文件基本信息

a)文件名:文件的名称,通常包括扩展名,用于标识文件的类型和内容。

b)文件大小:文件占用的存储空间大小,通常以字节(B)、千字节(KB)、兆字节(MB)等为单位。

c)文件类型:文件的格式或类型,如文本文件(.txt)、图像文件(.jpg.png)、音频文件(.mp3)、视频文件(.mp4)等。

d)文件路径:文件在存储设备中的具体位置,包括目录结构和文件名。

2.时间戳信息

a)创建时间:文件最初被创建的时间。

b)修改时间:文件内容最后一次被修改的时间。

c)访问时间:文件最后一次被访问或读取的时间。

3.文件属性

a)只读属性:表示文件是否被设置为只读,防止意外修改。

b)隐藏属性:表示文件是否被设置为隐藏,不在常规文件列表中显示。

c)存档属性:表示文件是否被标记为存档,用于备份和归档操作。

4.文件所有者和权限信息

a)文件所有者:文件的创建者或拥有者,通常具有对文件的完全控制权限。

b)文件权限:定义了不同用户或用户组对文件的访问权限,如读取、写入、执行等。

5.文件内容相关信息

a)文件摘要:文件内容的摘要或简介,帮助用户快速了解文件的主要内容。

b)关键词:与文件内容相关的关键词,用于文件搜索和分类。

c)语言:文件内容所使用的语言,有助于多语言环境下的文件管理和检索。

6.其他特定信息

a)版本号:文件的版本信息,用于跟踪文件的不同版本。

b)注释:对文件的额外说明或注释,提供背景信息或其他相关细节。

c)关联文件:与该文件相关的其他文件的引用或链接,便于文件之间的关联管理。

文件元数据隐式标识(file metadata implicit label)是在人工智能生成合成内容的文件元数据中添加的、不能被用户直接感知但能通过技术手段提取的标识。这种标识的目的是记录生成合成内容的相关信息,如生成合成内容属性、服务提供者名称或编码、内容编号等制作要素信息。文件元数据隐式标识的实现方式包括在文件元数据中添加扩展字段,字段名称或关键词中应包含特定标识,如“AIGC”,其值为符合规定格式的字符串。此外,还可以在生成合成内容中添加数字水印等形式的隐式标识。

3.2.2.2 文件元数据隐式标识格式

文件元数据隐式标识格式要求如下。

a)在文件元数据中添加隐式标识扩展字段,字段名称或关键词中应包含“AIGC”。

b)隐式标识扩展字段的值,应为符合以下格式的字符串。

{"AIGC":{"Label":"value1","ContentProducer":"value2","ProduceID":"value3","ReservedCode1":"value4","ContentPropagator":"value5","PropagateID":"value6","ReservedCode2":"value7"}}

1:生成合成服务提供者对人工智能生成合成内容首次写入文件元数据隐式标识时,内容传播服务提供者要素与生成合成服务提供者要素一致,内容传播编号要素与内容制作编号要素一致。

c)生成合成标签要素由Label表示,取值为value1,应符合以下要求。

1)存储内容属于、可能、疑似为人工智能生成合成的属性信息:属于人工智能生成合成内容的,value1的值取1;可能为人工智能生成合成内容的,value1的值取2;疑似为人工智能生成合成内容的,value1的值取3

2)类型为字符串。

d)生成合成服务提供者要素由ContentProducer表示,取值为value2,应符合以下要求:

1)存储生成合成服务提供者的名称或编码;

2)类型为字符串。

e)内容制作编号要素由ProduceID表示,取值为value3,应符合以下要求:

1)存储生成合成服务提供者对该内容的唯一编号;

2)类型为字符串。

f)预留字段1ReservedCode1表示,取值为value4,要求如下:

1)可存储用于生成合成服务提供者自主开展安全防护,保护内容、标识完整性的信息;

2)类型应为字符串。

2:生成合成服务提供者使用预留字段1进行文件元数据隐式标识安全防护的示例见附录FF.4

g)内容传播服务提供者要素由ContentPropagator表示,取值为value5,应符合以下要求:

1)存储内容传播服务提供者的名称或编码;

2)类型为字符串。

h)内容传播编号要素由PropagateID表示,取值为value6,应符合以下要求:

1)存储内容传播服务提供者对该内容的唯一编号;

2)类型为字符串。

i)预留字段2ReservedCode2表示,取值为value7,要求如下:

1)可存储用于内容传播服务提供者自主开展安全防护,保护内容、标识完整性的信息;

2)类型应为字符串。

j)c)~i)中各要素的值应主要由GB180302022中码位为0x210x23~0x5B0x5D~0x7E的字符以及"构成。

3:码位0x210x23~0x5B0x5D~0x7E包括除"外的所有单字节编码字符,"为转义字符,用于表示"

3.2.2.3 隐式标识声明及用例

标识对象

声明及用例

文件元数据隐式标识

a)隐式标识应包括以下要素:

1)生成合成标签要素:内容的人工智能生成合成属性信息;

2)生成合成服务提供者要素:生成合成服务提供者的名称或编码;

3)内容制作编号要素:生成合成服务提供者对该内容的唯一编号;

4)内容传播服务提供者要素:内容传播服务提供者的名称或编码;

5)内容传播编号要素:内容传播服务提供者对该内容的唯一编号。

b)文件元数据隐式标识格式应符合附录E

c)人工智能生成合成的内容文件中,应仅保留一份文件元数据隐式标识。

图片文件元数据隐式标识示例

属于人工智能生成合成的图片文件元数据隐式标识示例见“AIGC”部分。

简析《人工智能生成合成内容标识办法》

音频文件元数据隐式标识示例

可能为人工智能生成合成的音频文件元数据隐式标识示例中的“AIGC”部分。

简析《人工智能生成合成内容标识办法》

视频文件元数据隐式标识示例

疑似为人工智能生成合成的视频文件元数据隐式标识示例中的“AIGC”部分。

简析《人工智能生成合成内容标识办法》

使用数字签名的安全防护示例

生成合成服务提供者使用杂凑算法对文件元数据信息进行数字签名,并将结果存储在预留字段1

中的示例如下所示。

"ReservedCode1":"e862483430d978cbf828b8b24296ef9328d843a0"

内容隐式标识

内容隐式标识准许采用数字水印等形式。

4. 法律责任

《办法》在第十一条、十二条和第十三条中针对建立生成合成标识明确了法律责任及要求。首先在第十一条中针对服务提供者开展标识活动要求其应当符合相关法律、行政法规、部门规章和强制性国家标准。标识的建立是为了充分保护用户的合法权益,如隐私权、个人信息安全等有明确规定。服务提供者在标识过程中,应遵循《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》相关规定,采取有效措施保护用户信息,防止信息泄露和滥用。除此之外,还应符合《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《GB 454382025 网络安全技术 人工智能生成合成内容标识方法》等相关规定和标准的要求。

在办法第十二条中指出①“服务提供者在履行算法备案、安全评估等手续时,应当按照本办法提供生成合成内容标识相关材料,” 算法推荐技术,是指利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。《互联网信息服务算法推荐管理规定》明确要求算法推荐服务提供者应当坚持主流价值导向,积极传播正能量,不得利用算法推荐服务从事违法活动或者传播违法信息,应当采取措施防范和抵制传播不良信息;建立健全用户注册、信息发布审核、数据安全和个人信息保护、安全事件应急处置等管理制度和技术措施,配备与算法推荐服务规模相适应的专业人员和技术支撑;定期审核、评估、验证算法机制机理、模型、数据和应用结果等;建立健全用于识别违法和不良信息的特征库,发现违法和不良信息的,应当采取相应的处置措施;加强用户模型和用户标签管理,完善记入用户模型的兴趣点规则和用户标签管理规则;加强算法推荐服务版面页面生态管理,建立完善人工干预和用户自主选择机制,在重点环节积极呈现符合主流价值导向的信息;规范开展互联网新闻信息服务,不得生成合成虚假新闻信息或者传播非国家规定范围内的单位发布的新闻信息;不得利用算法实施影响网络舆论、规避监督管理以及垄断和不正当竞争行为。服务提供者在进行算法备案、安全评估等手续时,需要按照规定提供与生成合成内容标识相关的材料。这包括但不限于标识的添加方式、位置、样式等信息,以确保生成合成内容能够被准确识别。②“并加强标识信息共享,为防范打击相关违法犯罪活动提供支持和帮助。”标识信息共享是指在人工智能生成合成内容的管理过程中,服务提供者之间以及服务提供者与监管部门之间,对生成合成内容的标识相关信息进行交流和共享。这一过程旨在确保生成合成内容的透明度和可追溯性,以便更好地监管和规范互联网信息服务,防止相关违法犯罪活动。服务提供者加强标识信息的共享,将有助于监管部门和其他相关机构更好地了解和掌握算法推荐服务中生成合成内容的标识情况,从而更有效地防范和打击利用生成合成内容进行的违法犯罪活动。

《办法》第十三条是针对违反规定的责任追溯要求,执行主体主要包括网信、电信、公安和广播电视等有关主管部门。其职责分工:

l国家互联网信息办公室:作为互联网信息内容的主管部门,负责统筹协调全国互联网信息内容的管理工作,指导、协调、督促有关部门加强互联网信息内容管理,推动互联网信息传播法制建设。在《人工智能生成合成内容标识办法》中,其行政职能主要体现在对生成合成内容标识的总体管理和监督,确保相关标识办法的落实,维护网络信息内容的健康与安全。

l工业和信息化部:作为工业和信息化领域的主管部门,负责推进工业、通信业体制改革和管理创新,提高行业综合素质和核心竞争力,指导相关行业加强安全生产管理。在《人工智能生成合成内容标识办法》中,其行政职能侧重于推动标识技术在工业和信息化领域的应用,促进相关技术的创新和发展,确保标识技术符合行业标准和规范。

l公安部:作为国家的治安管理和刑事执法机关,负责维护社会治安秩序,保障公共安全。在《人工智能生成合成内容标识办法》中,公安部的行政职能主要体现在打击利用未标识或错误标识的生成合成内容进行的违法犯罪活动,维护网络空间的安全和秩序。

l国家广播电视总局:负责广播电视行业的管理和监督,确保广播电视内容的合法性和规范性。在《人工智能生成合成内容标识办法》中,其行政职能包括监督广播电视领域内生成合成内容的标识工作,确保广播电视内容的真实性和可信度,防止虚假信息的传播。

参考文献

[1]《互联网信息服务算法推荐管理规定》

[2]《互联网信息服务深度合成管理规定》

[3]《生成式人工智能服务管理暂行办法》

[4]国家互联网信息办公室有关负责人就《标识办法》有关问题答记者问

[5]GB 454382025《网络安全技术 人工智能生成合成内容标识方法》

[6]本文部分内容源自KIMI索引结果整理

【公司概述】

上海观安信息技术股份有限公司(以下简称公司)是一家提供大数据+泛安全产品与服务的高新技术企业。公司聚焦数据安全、网络空间安全、5G安全、工业互联网安全、人工智能安全及公共安全等核心方向,为运营商、政府、金融、电力、公安、医疗等行业用户提供全面的信息安全解决方案。

【公司规模】

公司经历了多轮融资,市场估值近50亿元。受到包括国有资本/国资基金及众多知名资本方的青睐。其中主要国有资本/国资基金股东包括:上海信投(上海市政府为加快信息化建设组建的专业投资机构)、国投创新(先进制造基金)、中移创新(中国移动设立基金)、国信中数(国家信息中心设立基金)、高灵基金(科技部出资基金)、上海军民融合基金、上海临港松江创投基金、国鑫创投(国有创投机构)、国开制造业转型升级基金、联新资本、海通开元、骅乾投资(张江科创出资基金)。

公司采用上海、北京、深圳一级总部,成都、广州区域总部运营模式,同时设立多个实验室,业务覆盖全国大部地区。公司目前拥有员工1000余名,本科及以上学历约占总员工数的85%,硕士及以上学历约占总员工数6%,其中专业技术人员占80%以上。

【业务合作】

公司与国内多个国家级监管机构、高等学府、科研机构建立了良好、紧密的合作关系。公司是联合国训练研究所上海国际培训中心授权的大数据应用与安全培训基地、联合国工业发展组织上海国际智能制造促进中心专家组成员。

公司联合国家电网全球能源互联网研究院,以大数据+信息安全、大数据+工控安全为方向,成立了智能电网联合实验室;以工业互联网安全评估及工业互联网态势感知为方向,成立了工业互联网安全实验室。

公司以大数据+车联网、大数据+工业4.0为方向,联合多方成立了车联网联合实验室。20179月国家网络安全宣传周,中国信通院、安吉星、观安信息等八家单位联合发布中国首部《车联网网络安全白皮书》。

观安信息是CNCERT省级支撑单位,及上海市委网信办、上海市通信管理局网络安全支撑单位。公司在自有技术、产品和服务体系的支撑下,为运营商、政府、金融、电力、公安、医疗等行业用户提供全面的技术服务支撑。

公司具备较强的创新能力,鼓励自主创新研发,持续建立健全自主可靠可控知识产权体系,当前已有80余项发明专利,100余项软件著作权与软件产品登记。公司设立四大创新实验室及三大联合实验室,利用CNN(卷积神经网络)开展的URL攻击识别,准确率可以达到99%以上。“无相攻防实验室”申请了多项大数据检测分析技术相关专利和创新成果转换。

连续多年独家冠名支持ISG网络安全技能竞赛,技术支持多项国内大型信息安全竞赛。共同携手进一步提升各行业的网络信息安全管理水平和技术保障能力,推动中国网安建设及网安人才培养体系建设进程。

公司近年来积极参与多项国标、行标、团标以及企标的编制工作,为我国网络安全标准化工作添砖加瓦

简析《人工智能生成合成内容标识办法》

文本生成图片,是利用人工智能技术根据文本描述生成相应图像的过程。

即人工智能生成内容(AI-Generated Content),是利用人工智能技术自动创作或生成各种形式内容的一种新型内容创作方式。它涵盖了文本、图片、音频、视频等多种形式,极大地扩展了内容创作的边界。AIGC的核心在于通过机器学习和深度学习算法,从大量数据中学习并生成新的内容。这种技术不仅可以模拟人类创作,还能创造出超越人类想象的作品。

原文始发于微信公众号(老烦的草根安全观):简析《人工智能生成合成内容标识办法》

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年3月17日21:23:18
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   简析《人工智能生成合成内容标识办法》https://cn-sec.com/archives/3850026.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息