深度合成解读系列文章（一）：什么是深度合成管理规定？

    中共中央总书记、国家主席、中央军委主席习近平指出，“网络空间是亿万民众共同的精神家园。网络空间天朗气清、生态良好，则符合人民利益。” 

    近日，国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理规定》（以下简称《规定》），从规范深度合成服务出发开创了新兴算法治理之先河。《规定》深入贯彻了网络合规三驾马车《网络安全法》、《数据安全法》、《个人信息保护法》的精神，聚焦当下深度合成技术滥用错用的突出问题，旨在进一步加强对人工智能深度合成技术的规范和管理，有效推进深度合成技术依法合理利用，带动相关产业健康发展。

本规定有哪些关键信息？

（一）什么是深度合成技术？深度合成技术是人工智能技术的一种，顾名思义就是能够合成网络信息的技术，这里的网络信息包括了文本、图像、音视频、虚拟场景等等。比如，最近流行的chatGPT聊天机器人，背后就是基于深度合成技术建设的，国内常见的智能音箱也属于深度合成技术的应用范畴。当下各类短视频平台上也应用了不少该类技术，能够对人脸进行美颜、编辑等，甚至还可以虚构场景，结合AR技术将真实世界的人脸映射进数字世界，进而实现有趣的互动。

（二）相关机构需要落实哪些管理要求？《规定》对相关机构的主体责任进行了明确规定。一是不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，或从事法律、行政法规禁止的活动。二是建立相关事项的管理制度，包括用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等，并具有安全可控的技术保障措施。三是制定和公开管理规则、平台公约，完善服务协议，落实真实身份信息认证制度。四是加强深度合成内容管理，采取技术或者人工方式对输入数据和合成结果进行审核，建立健全用于识别违法和不良信息的特征库，记录并留存相关网络日志。五是建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告。

（三）相关机构需要履行哪些数据和技术管理规范？《规定》对相关机构也做了明确技术要求。一是加强训练数据管理，采取必要措施保障训练数据安全；训练数据包含个人信息的，应当遵守个人信息保护的有关规定；提供人脸、人声等生物识别信息显著编辑功能的，应当提示使用者依法告知被编辑的个人，并取得其单独同意。二是加强技术管理。定期审核、评估、验证生成合成类算法机制机理；提供具有对人脸、人声等生物识别信息或者可能涉及国家安全、国家形象、国家利益和社会公共利益的特殊物体、场景等非生物识别信息编辑功能的模型、模板等工具的，应当依法自行或者委托专业机构开展安全评估。三是需要对生成或者编辑的信息内容，采取技术措施添加“不影响用户使用的标识”，俗称暗标识，并依法依规保存日志信息。四是提供智能对话、合成人声、人脸生成、沉浸式拟真场景等具有生成或者显著改变信息内容功能服务的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示信息内容的合成情况，避免公众混淆或者误认。

（四）相关机构不履行《规定》会如何？网信部门和有关主管部门发现深度合成服务存在较大信息安全风险的，可以按照职责依法要求深度合成服务提供者和技术支持者采取暂停信息更新、用户账号注册或者其他相关服务等措施。深度合成服务提供者和技术支持者应当按照要求采取措施，进行整改，消除隐患。深度合成服务提供者和技术支持者违反本规定的，依照有关法律、行政法规的规定处罚；造成严重后果的，依法从重处罚。构成违反治安管理行为的，由公安机关依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。

深度合成服务管理的落地需要哪些技术支撑？

    深度合成治理需要技术与立法并进。结合《规定》有关内容，我们认为构建深度合成服务治理体系需要围绕“五大安全技术体系”展开。对于服务环节各方而言，监管方可充分利用技术手段，不断加强监管的深度广度；服务提供方应兼重使用效果与隐私保护；使用者也应遵守公序良俗，避免滥用错用深度合成技术。我们对《规定》中涉及的技术脉络梳理如下：

（一）内容安全：使用方是深度合成品的第一责任人，应当合理合法利用深度合成技术。服务提供方则应利用深度合成检测技术把好合成品第一道关，并结合深度合成检测评估技术持续提升检测能力。

（二）监管科技：网信、工信、公安等部门可利用监管科技对深度合成品进行全面的检测评估，实现全流程的监管。包括利用多媒体识别技术、身份认证技术对内容开展审核，以及结合舆情监测与数字水印技术实现对合成物的持续追溯。

（三）数据安全：服务提供方应利用安全多方计算与密码学技术，提升数据安全保障和隐私保护能力；利用区块链技术实现深度合成服务全流程溯源。

（四）模型安全：服务提供方应重点关注以模型对抗攻防技术为主的模型安全问题，既关注模型效果，又注重安全性能。

（五）通信安全：服务提供方与用户建立可靠的通信环境，避免恶意网络攻击。利用云计算与通信技术提供云端服务底层支撑，结合态势感知技术降低甚至规避网络威胁。

浙大网安的技术布局

    浙大网安相关团队依托区块链与数据安全全国重点实验室，组织力量，聚焦前沿，深入开展了一系列重点研究，在PAMI、CVPR、CCS、ICCV、AAAI、ACM Multimedia等CCF A类国际顶级期刊/会议上发表深度合成、人工智能方向论文50余篇，获最佳论文奖等7项，获2021年第三届中国人工智能大赛音视频合成赛题一等奖（全国仅两名），为华为、阿里、蚂蚁、杭州城市大脑等公司提供技术支撑，并在多个方向上落地了多个平台。

（一）深度合成图像视频方向

    一是深度合成视频检测平台。该平台核心包含数据模块、合成检测模块和交互模块。数据模块涵盖了主流的公开数据集，包含图片数据，视频数据。视频合成检测模块支持对换脸、换表情、人脸重建、全脸合成等4类合成技术所生成视频的检测。平台复现了当前表现最优的20余种合成视频生成算法，支持对各类合成视频生成算法的检测。交互模块支持对多个视频的同步检测，准确率达96%以上。深度合成检测平台也支撑了重要政治人物合成视频图像的检测，服务公安系统。

    二是深度合成视频检测算法评估平台。该平台核心由数据模块和评估模块组成。数据模块为评估平台提供测试数据集。数据集搜集了来自6个公开数据集的视频数据、图片数据，涵盖20余种合成算法，包含换脸、换表情、人脸重建、全脸合成、逃逸算法、对抗算法等。评估模块则使用数据模块提供的各类测试数据，从性能、鲁棒性、泛化性3个角度，构建由自主设计的9项指标为基础的科学评估体系，能够对用户提交的检测算法进行量化评估，并生成评估报告。同时，根据所有已评算法的得分，建立排行榜。

（二）深度合成音频方向

     一是音频深度合成和不良合成内容检测平台。它基于浙大网安最前沿的音频深度合成技术，构建前沿音频合成算法库，目前入库已有主流语音合成算法12种，语音转换算法10种，为训练检测算法提供训练数据来源和检测效果评估基准；同时，积极探索检出效果更好、泛化能力更强、适用场景更广的音频深度合成对抗技术，在保障基础检出效果的同时，为重要政治人物、社会人物提供更加精准高效的深度合成检测。

    二是深度合成音频检测算法评估平台。浙大网安积极开拓音频深度合成检测算法综合评估平台。现阶段的音频合成检测算法在不同数据集下检测性能表现差异明显，缺乏综合检测性能评估，阻碍了音频合成检测算法的发展。该评估平台根据评估需求模拟多种不同使用场景，围绕检出率、鲁棒性、泛化性等核心指标为合成检测系统提供全方位的检测能力评估，并提供主流的基准模型作同等条件下的平行对照组。该平台目前已经集成了大量的主流音频合成算法和海量的中英文真伪音频数据（覆盖100种以上合成算法），能够有效覆盖了检测算法在不同场景下的评估需求。

    三是声纹认证对抗攻防平台。浙大网安密切关注用户语音身份安全。声纹识别系统能够辨识语音信号中的用户身份信息，在智能设备、语音助手、移动支付、刑侦调查等领域得到了广泛的应用。然而，近期的研究工作发现对抗性样本攻击能够在不影响听感的前提下轻易修改人声中的身份信息。浙大网安深入探究对抗性样本攻击对主流的声纹识别系统构成的真实威胁，提出了多种对抗攻防演练技术，包括非侵入自适应说话人身份匿名技术、音素级声纹识别对抗样本生成技术等。

（三）人工智能安全方向

    人工智能安全理论及验证平台。该平台依托科技创新2030--“新一代人工智能”重大项目，是科技部首个人工智能安全领域的重大项目。平台聚焦人工智能系统面临的安全问题，搭建了全周期安全性评估系统、软硬件协同安全性能验证系统和软硬件协同安全攻防测试系统，可提供人工智能系统全生命周期一站式检测和一体化安全防御方案，适用于安防、交通、金融行业广泛应用的的人脸识别、目标检测等人工智能场景。

    全周期安全性评估系统针对人工智能系统的全生命周期进行安全性评估，支撑数据收集、模型训练和部署各个阶段的评估，是国内首个兼顾完整性和公平性评测的全周期安全评估系统。针对模型训练过拟合、模型公平性缺失等问题，系统创新性地在数据收集阶段集成数据增强和清洗模块、数据公平性评估和提升模块，有效清除噪声数据、毒化数据、后门数据、有偏数据等异常数据；针对国内外现有研究覆盖算法不足、全链路模拟缺失等问题，系统集成了主流20余种对抗攻击和后门攻击算法，30余种前沿模型公平性评估算法和5种核心模型偏见提升优化算法，支撑了从数据收集到模型训练再到模型部署的全生命周期多维度安全测评。

    软硬件协同安全性能验证系统突破异构环境模拟、软硬件安全测试、软硬件协同性能验证等技术，具备异构环境的侧信道分析和故障注入检测等功能，支持软硬件一体化人工智能系统安全防御与性能测试。针对部署在ARM Cortex微处理器等低功耗处理器上的神经网络侧信道分析，通过预处理曲线数据提高曲线质量，在不破坏芯片物理外壳的情况下，提高采集信号的信噪比。系统实现了单次分析采样频率1GSa/s，单次分析10万能耗曲线，改进了国内外低功耗处理器上侧信道分析精度不足、约束条件多等缺陷；针对目前主流故障攻击隐蔽性低、容易在内存中留下痕迹或要求物理接触目标设备等弊端，创新性地引入改进的注入方法，降低故障注入攻击频率，从而增强故障注入隐蔽性，填补了国内外针对基于FPGA的人工智能硬件加速器隐秘故障攻击的研究缺口。

    软硬件协同安全攻防测试系统针对人工智能系统数据链路复杂、安全环境多样、攻防对抗多变等特点，提出自动化鲁棒测试、群智化协同防御等关键技术，实现针对人工智能系统的软硬件一体化攻防对抗推演。针对 AI模型保护机制设计孤立、覆盖环节有限、防御策略固定等特点，创新性提出群智增强的AI模型防御方法。突破防御智能体结构设计、智能体博弈机制、群体智能防御算法等关键技术，实现了基于群体智能的模型安全动态柔性防御。系统支持20余种对抗样本攻击算法，能对亿级参数规模的ResNet和VGG系列模型进行对抗测试，具备群智化防御、Nash博弈等多种动态防御策略，覆盖Pytorch等5种主流开发框架和3种常用操作系统的漏洞检测，兼顾AI系统运行环境安全，为人工智能系统提供自上而下的全面防护。

总结

    《规定》的提出明确了深度合成领域行政监管路径，完善了数字技术新应用立法体系，推进了国家网络空间治理现代化建设。浙大网安学院将以区块链与数据安全全国重点实验室为依托，以《规定》为指导，号准科技发展脉搏、紧随技术前沿脚步，进行有组织科研，发挥深度合成智能鉴别和智能监管方面的既有优势，持续加大研发投入，为促进深度合成产业规范化、数字技术应用利民化、网络空间生态健康化源源不断地贡献技术力量！

     同时，我们也持续秉承“多方共治”的思想，诚邀政府、企事业单位与学院一起携手，共探深度合成治理破局之法，为国家安全、公众利益做出贡献！