随着物联网和人工智能的快速发展和逐步落地，许多应用场景可以基于人脸、指纹和语音等生物特征数据对用户身份进行验证及提供个性化服务，提升了用户使用体验。然而，从智能设备和网络上获得的生物特征数据有可能被恶意操纵或篡改，进而给用户个体乃至网络经济的正常运转带来安全威胁。因此，对生物特征数据的真实性和完整性进行有效验证已成为业界亟须解决的一项技术难题。首先，介绍了生物特征数据取证的背景和需求；其次，以物联网为场景说明了生物特征数据的典型应用，并从图像取证和音频取证两个方面阐述了基于生物特征数据的数字取证相关技术及其存在的问题；最后，总结并探讨了面临的挑战和未来发展。
当前，物联网（Internet of Things，IoT）和人工智能（Artificial Intelligence，AI）的蓬勃发展促进了大量智能设备遍及人类社会的各个角落，从平板电脑、智能手机、智能摄像头、智能手环到智能家电，为用户提供通信、监控、医疗和娱乐等各种服务。此外，智能设备之间还可以相互连接构成智能物联网，提供无所不在的服务，不断提高人们的生产效率和生活质量。截至 2022 年，全球有近 300 亿台设备已联网使用，预计到 2030 年数量很可能翻倍。这些智能服务基础设施不仅能在宏观层面上更好地满足社区需求，如智能电网可以提高电力使用效率，也可在微观层面上更好地服务于用户个性化需求，如智能家居为用户提供更好的生活体验 。
这些为用户提供的智能服务，特别是个性化服务往往需要用户的姓名、年龄、性别及位置等个人隐私数据。由于智能设备收集的个人隐私数据的敏感性，必须在维持用户较好服务体验的同时保护这些隐私数据免受未授权的访问。针对这种情况，基于个人的生物特征（如人脸、指纹和语音等）来唯一验证用户身份已成为网络时代为用户提供个性化服务的同时保护个人隐私数据的一种常用的解决方案，特别在网络社交媒体应用中。生物特征数据（Biometric Data）主要是指通过测量个人的典型生理和行为特征而产生的数据，典型的生物特征包括面部、指纹、声纹、虹膜、基因或步态等，是确定用户身份特征的重要依据。然而，在基于生物特征数据为用户提供服务的过程中，这些隐私数据有可能被恶意操纵或篡改，进而给用户个体乃至网络服务的正常提供带来安全隐患。因此，对生物特征数据的真实性和完整性进行有效验证已成为业界急需解决的技术难题。本文主要关注物联网场景下生物特征数据的数字取证，并从图像和声音两个方面探讨基于生物特征数据的数字取证相关技术及其存在的问题。
1
生物特征数据的应用
当前，生物特征数据在物联网场景中得到了广泛应用。物联网是支撑智慧城市构建和运转的重要基石，并通常以分层架构的方式实施部署。这种分层架构自底向上一般至少包括感知层、网络层和应用层 3 层。具体而言，感知层负责管理海量智能设备的数据采集，网络层负责实现海量智能设备的互联互通，应用层为用户提供各种按需的智能服务，包括智能电网、智能家居、智能交通、智能医疗、智能政务和智能商务等。从物联网 3 层架构来看，生物特征数据主要用于感知层中终端用户与智能设备的交互认证，以及用户对相关数据和应用服务的授权访问。也就是说，用户与智能设备的人机接口 / 用户界面（User Interface，UI）使用户能够与设备进行友好互动，从而利用设备提供的个体服务及联网设备的整体服务。当前，基于生物特征的用户身份鉴别是保障智能设备为用户提供安全可靠个性化服务的一种重要技术手段，例如基于人脸识别的智能门锁、基于人体姿态识别的危险驾驶行为检测、基于生物特征识别的金融交易和基于指纹的用户登记签到等 。
基于个人的身体特征（如面部、指纹、虹膜和声音）或行为属性（如步态和击键动作）来精准识别用户个体的研究已逐渐发展成为一个新兴的学科——生物统计学 。在物联网应用场景中，生物特征数据可以通过生物计量传感器、监控视频甚至社交媒体网络上传的信息来获得。通常情况下，生物特征鉴别系统假定生物特征数据是合法的（没有被恶意伪造或篡改），然而这种假设在充满安全隐患的物联网环境中显然是不成立的。生物特征数据通常以数字图像和音频的形式存在于物联网中被采集和使用，一些恶意攻击会破坏生物特征数据的完整性和可用性。例如，人脸图像可能会受到多种不同形式的攻击导致生物特征识别失效，这些攻击包括人脸图像替换、面部属性篡改（改变表情、头发、肤色等）和人脸合成伪造等。针对这种情况，面向生物特征数据的数字取证技术应运而生，以确保生物特征数据在使用过程中的真实性、完整性和隐私性。
2
数字图像取证技术
2.1 技术概述
随着智能设备的日益普及和智能服务的广泛应用，数字图像取证已逐渐引起了政府和科研机构的关注和重视，相关研究工作也随之展开。一方面，生物特征识别技术的应用领域众多，包括智能设备认证使用、重要区域人员监控、数据获取访问控制、金融交易身份鉴别等。另一方面，各种图像编辑工具（如 Photoshop、FaceApp、FaceSwap）和合成图像生成工具（如DeepFakes）的不断涌现给数字图像的身份鉴别带来了巨大挑战。这些图像编辑和图像生成工具很可能被用于非法领域或恶意目的，如假冒他人身份、窃取隐私数据或诽谤造谣他人等。因此，有必要采用有效的数字图像取证方法来准确检测和阻止此类攻击，其中特别要关注恶意改变或操纵数字生物特征图像的情况，以确保数字图像的完整性。
数字图像取证需要解决 3 个基本问题，一是确认图像的来源，二是确认图像是否被篡改，三是确认视觉上相似的图像之间的关系[3]。例如，在移动银行应用中用户若要使用智能手机访问网络银行，可以基于双因子认证协议同时进行用户和设备的认证，即通过生物特征识别用户身份并通过设备传感器识别来验证设备，从而确保授权用户使用注册设备访问应用程序。设备采集的生物特征图像可同时服务于用户和设备认证，为了识别设备传感器就必须确定采集的生物特征图像源于用户设备，同时还要验证生物特征图像的合法性，并标记任何可能被数字处理过的图像。另外，在社交媒体应用中很可能出现人脸图像被巧妙修改并多次使用的情况。此时，就需确定相似图像之间的联系以跟踪图像修改的轨迹和溯源原始图像。
针对第一个问题，业界已开发了相应的图像来源识别方案，即识别图像是采用什么相机或传感器获取到的，进而确定图像的采集者。针对第二个问题，可以采用图像伪造检测技术来鉴别一张图像是否被篡改过，具体可通过检测图像的任何部分是否经历过拼接或复制移动的伪造行为来实现。针对第三个问题，需要确定一组近似重复的图像之间的关系，即原始图像被转换和修改的具体过程，例如一幅图像可以通过改变图像的亮度、对比度或布局（旋转、平移或缩放）进行反复修改，从而产生一组在视觉上看起来完全相同的图像。此外，还可以使用图像编辑软件从属于两个不同身份的脸部图像中生成一个合成的图像用于非法目的，如使两个不同身份的人共享一本护照。鉴于目前廉价甚至免费的图像编辑工具的普及，非专业用户也可在短时间内生成数百个非常相似的图像，因此从一组近似的图像中确定原始图像并进一步推断出图像变化轨迹（也称多媒体系统演变）的机制非常重要。
2.2 图像来源识别
图像来源识别也称为图像归属确定，是指识别用于获取数字图像的相机或成像传感器的相关技术 。早期的图像来源识别工作主要集中在使用像素缺陷（如坏像素）来检索拍摄照片的相机身份，如基于镜头畸变，特别是径向镜头畸变来获取相机的具体信息，也可以利用从图像中提取的特征（如颜色和对比度）来进行图像来源相机的识别。数码相机大都配备了 CCD或 CMOS 成像传感器，并在成像传感器前设有一个彩色滤光片（Color Filter Array，CFA）。因此，可以利用基于 CFA 的像素插值法引入的像素间固有的关联性来区分属于不同制造商的相机，但可能不适合区分同一制造商的不同型号的相机。
另一种确定图片来源相机的方案则利用了成像传感器中出现的缺陷。具体而言，由于制造过程中的异常情况而产生的传感器缺陷会导致传感器图案噪声，其中光响应不均匀性（Photo Response Non-Uniformity，PRNU）是传感器图案噪声的主要类型。PRNU 可以视为一个相机的独特标签并可用于推断成像传感器的身份，并且已被成功用于识别虹膜传感器。此外，数码单反相机更换镜头时灰尘颗粒也会在成像传感器上形成不同图案，也可利用这种灰尘图案造成的传感器缺陷来识别相机。近几年，已有学者利用深度卷积神经网络成功从图像中识别智能手机的摄像头。然而，应注意的是有一些针对上述方案的反取证措施，例如，平场扫描技术（Flat-fielding）可以通过软硬件结合的方式消除由缩放、光源或镜头等引起的光学途径变异而导致的不一致性，从而干扰图片来源的识别。
2.3 图像伪造检测
图像可以通过操纵其中的元素而被篡改，例如，可以通过执行复制移动（即从一个图像的一个区域复制一个对象并将其粘贴到同一图像的另一个区域）或拼接操作（即从一个图像中复制一个对象并将其粘贴到另一个图像）来伪造。图像伪造检测方法可以采用基于数字水印的主动方式，也可以采用基于图像本身的被动方式。图像伪造检测通常不仅要检测图像是否被篡改，还要尽可能定位图像中被篡改的区域。早期的伪造检测方案考虑了伪造图像中因重新采样而出现的周期关联性。通过复制移动操作伪造的图像通常涉及将图像的部分克隆，检测这种复制移动的克隆伪造可以采用基于聚类的算法，也可以采用基于深度学习的方法来定位图像篡改的痕迹。此外，还有一些机制考虑利用相机或传感器信息来检测和定位图像 / 视频中的伪造区域，例如，可以通过使用非线性的相机响应函数来检测图像是否拼接，因为这种函数可以较好地区分自然模糊和人为模糊的边界。
2.4 多媒体系统演变
在 数 字 图 像 取 证 领 域， 多 媒 体 系 统 演 变（Multimedia Phylogeny，MP）是指破译图像或视频所经历的修改痕迹。一幅图像可能会经过多次微小的修改，每次修改都会得到一个稍微不同的输出，并可能使大量近似重复的图片被上传到互联网上。多媒体系统演变机制需要从大量相似的图像集合中推断出原始图像，并确定这些近似图像之间的关联关系。现有一些工作基于图像之间的依赖关系来确定其演变关系，并将描绘图像修改痕迹的层次结构表示为最小生 成 树（Minimum Spanning Tree，MST）。MST中的节点对应于图像（根节点即为原始图像），而边则是连续转换的图像之间的定向链接关系，并将这种树形结构称为图像系统演变树（Image Phylogeny Tree，IPT）。这类方法的基本原理是计算一个不对称的差异度量，以便准确地捕获近似重复的图像集中每一对图像之间的关联关系。非对称度量可以基于注册和匹配图像对后得到的最小误差来计算，然后将不对称测量值输入到树生成算法（如定向 Kruskal 或深度优先搜索）以构建 IPT。另外，也可以采用基于深度学习的矩阵去噪算法来构建 IPT，并将其用于检测视频的帧序列。
值得一提的是，可以基于多个关联的图像分别构建 IPT，进而生成一个图像系统演变森林（Image Phylogeny Forest，IPF）。举例来说，在一起刑事案件中，发现两张图像与同一个人有关，但这两幅图像是用两台不同的相机获取的。在这种情况下，可以将这两张图像视为两个根节点来构造不同的 IPT，并由这两个 IPT 产生一个 IPF。IPF 的构建通常是一个聚类过程，将属于不同 IPT 的图像进行分组，这种从多个摄像机对应的视频数据中产生的 IPF 可用于重建犯罪现场的事件序列。
3
数字音频取证技术
3.1 技术概述
当前，大多数智能设备（如智能手机）除支持触控式人机接口外，还同时支持无接触的声 控 用 户 界 面（Voice User Interfaces，VUI），如苹果手机的 Siri 和华为手机的小艺智能语音助理。基于接触的生物计量方式，如指纹更适合用于保护触控式的用户界面；而基于非接触的生物计量方式，如语音更适合用于操控数字语音助手。当前，基于语音控制的人机接口正变得无处不在，如日益流行的智能式穿戴设备和智能家电等。由于语音控制设备的正常操作离不开音频数据的支持，因此必须验证这些设备输入的音频数据的完整性，以防止其被非授权使用。
数字音频取证是一种用于获取、增强和解释音频数据以验证其完整性的技术，已广泛应用于金融经济、商业消费和政府治理等领域 [11]。在生物特征识别应用领域，使用音频数据之前保护和验证其完整性是必要的环节。例如，恶意攻击者可以伪造语音冒充目标用户，从而以欺诈手段获取敏感用户数据。此外，在公共领域传播伪造、篡改或合成的音频可能引起群众恐慌和骚乱。例如，冒充有影响力的公众人物发表有争议的演讲可能会带来严重的政治和经济影响。
3.2 相关技术分析
数字音频取证技术大致可分为两大类：基于容器的取证技术和基于内容的取证技术，前者重点调查音频文件的文件结构及相关元数据（如文件格式和时间戳）以验证其真实性，而后者通过检查音频文件的数据内容（如说话人身份和语音记录）以验证其真实性 。在此，仅关注基于内容的音频取证方法。
针对数字音频的攻击可以出现在音频制作的音频记录、音频编辑、音频混合和音频后期处理等多个环节。在音频记录阶段，如果使用多个麦克风记录来自多个来源的音频，那么每个麦克风都会在相应的音频信号中留下一个唯一可识别的设备签名，对录音设备或相应输出音频信号的任何篡改都会直接改变嵌入数据中的录音设备的“签名”。因此，这种设备签名可以作为音频来源取证检测技术的关键依据。在音频编辑阶段，来自不同来源的音频数据被单独编辑以去除不必要的音频噪音，并结合适当的音频效果，如延迟、混响和饱和度调节等。然而，一些音频编辑技术，如对接和复制移动等可用于混淆、改变或替换某些音频特征，从而破坏原始音频数据的完整性。因此，音频取证技术需要使用诸如基音跟踪之类的技术来检测和定位这种伪造行为。在音频混合阶段，多个来源的音频被混合形成一个组合的音轨，在混合过程中可能包含来自未经证实的来源的音频，从而损害最终组合的音轨的完整性，这就需要音源识别取证技术来检测这种音频伪造。在音频后期处理阶段，合并后的音轨要经过一系列微妙的音频处理，包括均衡和压缩等以产生最终的音轨。针对后期处理的情况，可以使用基于修正离散余弦变换（Modified Discrete CosineTransform，MDCT）和机器学习的音频取证技术来检测压缩音频样本的真实性。
综上，针对音频制作过程的不同阶段需要采用不同形式的数字音频取证技术 。第一，音频取证技术要确认音频样本的真实性，其主要目标是确定数字音频的来源和内容的真实性。在音频录制和混音阶段对音频所做的改动有可能修改输出信号中的源设备签名，从而破坏其数据的完整性。基于音频源归属的数字取证技术可以从音频数据中提取特定录音设备的音频特征来鉴别音频的来源设备。第二，音频取证技术要解释和记录音频样本，需要从输入音频中提取如说话人身份和对话录音此类重要信息。然而，数字音频通常伴有背景噪声、声学混响和通道噪声，使得从输入音频中准确提取有价值的信息变得富有挑战性。第三，音频取证技术要能从音频样本中分析声音环境，即识别和重建输入音频所处的声学环境。当前，基于统计的音频取证技术可以根据音频中的混响和背景噪声的统计度量来描述音频环境的声学特性。
4
结 语
物联网和人工智能的发展及应用催生了智能时代的快速到来，也使得基于生物特征识别的人机交互变得无所不在。然而，由于生物特征数据在使用过程中可能被篡改，因此必须采用高效的数字取证技术来验证生物特征数据的完整性。本文主要探讨了面向图像和音频类生物特征数据的数字取证技术，归纳了不同技术的应用场景及其存在的问题。尽管针对图像和音频数据的数字取证研究工作已取得了一些成果，但目前还存在很多有待解决的困境。例如，现有的数字取证技术在检测基于深度学习技术（如 DeepFakes）创建或修改的图像和音视频时可能难以奏效。值得欣慰的是，当前已有技术可以利用不一致的头部姿势和图像中存在的脸部扭曲伪影来检测基于 DeepFakes 工具伪造的人脸图像，还有一些技术利用了人脸的全局一致性、光照和几何形状的视觉异常来检测这类伪造。另外，数字取证技术也开始利用深度学习来应对新出现的深度伪造问题。例如，利用深度学习网络从图像中提取的隐藏特征来检测基于 DeepFake 的伪造视频。
今后，数字取证技术将重点关注以下几个研究方向：研究能够更好地应对未知生物特征攻击的数字取证方法；研究能适用于海量生物特征数据的数字取证方法；研究如何通过推断篡改数据的模式对攻击进行有效溯源；研究如何维护生物特征数据的安全并使其更好地防范可能的攻击；研究如何对可能泄露个人敏感信息的社交媒体数据予以必要的保护，等等。
免责声明：本文转自信息安全与通信保密杂志社，原作者王海涛 , 王新铭 , 王丹，谢波。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们/转载公众号！
推荐阅读
技经观察丨从拜登政府政策看：美前沿科技领域人才培养的最新实践
转自丨信息安全与通信保密杂志社
作者丨王海涛 , 王新铭 , 王丹，谢波
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er
原文始发于微信公众号（全球技术地图）：基于生物特征数据的数字取证技术研
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论