人脸识别技术攻防

0x00 Referer

个人学习笔记，摘录于 互联网 + ChatGPT

0x01 人脸识别技术

1.1 2D

这是最早的人脸识别技术，其基本原理是在2D图像上提取人脸的二维特征进行识别。2D人脸识别技术适用于静态图像的人脸识别，但对于光照、角度、遮挡等因素的影响比较大，容易发生错误匹配。

• 传统人脸识别：采用数学方法，从图像矩阵中提取对应特征，一般为尺度不变特征。
• 基于神经网络人脸识别：2D人脸识别在开源数据集测试识别准确率已达99.8%

2D人脸识别技术的关键在于特征提取和匹配算法的设计。

常用的特征包括Haar特征、LBP特征、SIFT特征、HOG特征等。匹配算法主要包括欧式距离、余弦相似度、支持向量机等。

1.2 2.5D

2.5D技术是在2D技术的基础上增加深度信息，通过运用结构光、红外线等技术获取人脸三维坐标信息，使得人脸识别系统对光照和角度的容忍度更高，识别率也更高。

2.5D人脸识别技术的关键在于深度信息的获取和融合算法的设计。

常用的深度传感器包括Kinect、Intel RealSense等。融合算法可以采用基于深度学习的方法，如CNN、LSTM等。

1.3 3D

3D人脸识别技术是一种基于3D模型的人脸识别技术。该技术使用3D扫描仪等设备获取人脸的3D模型，然后对模型进行分析和比对，以确定人脸的身份。与2D人脸识别技术相比，3D人脸识别技术可以更准确地识别人脸，同时对于一些受到光照和角度变化等因素影响较大的情况，3D人脸识别技术也有更好的适用性。

• 3D结构光(Structured Light)：通过红外光投射器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集，利用三角相似性原理计算，得出图像上每个点深度信息，最终得到三维数据。
• 飞行时间(ToF)：激光测距，照射光源一般采用方波脉冲调制，根据脉冲发射和接收的时间差来测算距离。
• 双目立体视觉(Stereo Vision)：基于视差原理，并由多幅图像获取物体三维几何信息的方法。由双摄像机从不同觉度同时获得被测物的两幅数字图像，并基于视差原理恢复物体的几何信息，从而得到图像上每个点的深度信息，最终得到三维数据。

3D人脸识别技术的关键在于3D模型的获取和匹配算法的设计。

常用的3D扫描仪包括激光扫描仪、结构光扫描仪等。匹配算法主要包括ICP（Iterative Closest Point）算法、PCA（Principal Component Analysis）算法、LBP-TOP算法等。

0x02 常见攻击方式

2.1 打印数字照片

攻击者获取到被冒充者的真人照片，使用APP对照片进行直接拍摄。

2.2 高清视频

攻击者准备被攻击者的一段真人视频，或经过图像处理获得合成视频，展示在显示屏上（高清手机屏、retina高清、iPad屏、4K屏等）使用活体APP进行拍摄。

2.3 三维面具

攻击者头戴被假冒者的仿制硅胶和塑料面具进行拍摄，此类攻击因为面具的高度还原性，对活体检测造成很大挑战。此类攻击的成本在所有素材攻击类型里也是最高的。

2.4 AI换脸

攻击者通过AI算法能力合成目标用户视频/图像，并通过手机注入手段来进行视频替换，以绕过活体检测。

2.5 T形眼镜

攻击者获取到被冒充者的真人照片，保留眼睛T型区域，当作面具戴在脸上进行拍摄攻击。这类攻击能够保留会很大一部分被冒充者的人脸特征，同时比照片和电子屏幕攻击增加了3D人脸特征，是黑产用来攻击动作活体的常见形式。

2.6 定制ROM

攻击者获取被假冒者的真人视频，刷新手机ROM操作系统镜像，向APP中注入被冒充者的视频，从而绕过拍摄流程。

2.7 IOS进程注入

攻击者将iOS越狱后，拿到最高权限，通过dlopen 等方式，将攻击代码加载到目标进程中，攻击代码可以通过hook手段，替换相机输入输出进行注入，来实现攻击行为。

2.8 云手机

云手机类似远程脚本批量攻击，攻击者通过分析目标应用业务逻辑或者关键部分逻辑，通过重写或者模拟的方式实现业务正常逻辑，在过程中替换传输过程的视频内容，从而实现脚本化批量攻击。

2.9 安卓模拟器

部分模拟器有模拟硬件的功能，攻击者可以通过该功能模拟手机进行攻击，或者修改模拟器的ROM信息类似定制ROM的攻击方法，另外大部分模拟器有最高权限，也可以通过注入hook的方式实现攻击。

0x03 人脸攻击的反欺诈技术

0x04 百度活体检测技术

4.1 动作配合式活体检测

SDK给出制定动作要求，用户需要配合完成，通过实时检测用户眼睛，嘴巴，头部姿态的状态，来判断是否为活体，支持7种预设动作，可定义哪些生效以及检测顺序。

4.2 在线图片活体检测

基于图片中人像的破绽（摩尔纹、成像畸形）来判断目标对象是否为活体，可有效防止屏幕二次翻拍等作弊攻击，可使用单张或多张判断逻辑。

4.3 H5视频活体检测

用户上传一个现场录制的视频，录制时读出随机分配的语音校验码。然后通过分析这个视频的人脸信息以及语音校验码是否匹配，完成活体检测判断。

4.4 离线RGB活体检测

在线图片活体的离线版本，相对于在线接口方式，本地处理速度更快，无需担心是否有网络，也无需考虑接口调用次数等消耗。

4.5 离线近红外活体检测

利用近红外成像原理，实现夜间或无自然光条件下的活体判断。其成像特点，如屏幕无法成像，不同材质反射率不同等，可实现提高鲁棒性的活体判断。

4.6 离线3D结构光活体检测

基于3D结构光成像原理，通过人脸表面反射光线构建深度图像，判断目标对象是否为活体，可强效防御图片、视频、屏幕、模具等攻击