本文件规定了人脸识别系统测试的一般要求,描述了人脸识别系统的功能测试方法、性能测试方法以及活体检测测试方法。
本文件适用于第三方检验检测机构开展人脸识别系统测试,开发和应用人脸识别系统的相关机构参照本文件开展测试活动。
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
用事先收集好的测试数据对人脸识别系统或组件进行功能或性能测试
采用真实测试对象现场通过人脸识别系统的方式进行功能或性能测试
FAR 错误接受率(False Acceptance Rate)
FNIR误拒绝辨识率(False-Negative Identification Rate)
FPIR错误接受辨识率(False-Positive ldentification Rate)
FRR错误拒绝率(False Rejection Rate)
FTER 注册失败率(Failure To Enrol Rate)
LDFAR活体检测错误接受率(Liveness Detection False Acceptance Rate)
活体检测错误拒绝率《Liveness Detection False Rejection Rate)
本文件针对GB/T 41772-2022 中规定的人脸识别系统功能要求和性能要求进行测试,给出技术测试和场景测试两种测试方法。其中功能测试中,视图采集、现场注册功能采取场景测试,其余功能主要采取技术测试的方法;若采取场景测试,则由测试对象面向人脸识别系统采集设备,实际运行人脸识别系统各项功能并确认各项功能能否正常实现。性能测试中,人脸注册失败率、识别时间、人脸验证错误接受率和错误拒绝率、人脸辨识错误接受辨识率、人脸辨识错误拒绝辨识率同时给出技术测试方法及场景测试方法
注1: 环境温度、相对湿度、气压参考 GB/T 2421测量和试验用标准大气条件,并与 SJ/T 11608-2016 中关于温度、湿度、气压的要求保持一致。
注2:照度和噪声参考 GB/T 41804一2022 中标准环境条件。
硬件平台:测试系统的性能应满足被测系统运行基本要求,如
a) CPU 主频大于 2.0 GHZ内存大于 4 GB 或等同性能的硬件平台;
c) 进行测试时,应提供测试接口函数,其中人脸识别测试 C 语言接口函数见附录 A;
测试数据库主要包括人脸检测数据库、人脸识别性能测试数据库。人脸检测数据库包括人脸图像检测数据库和人脸视频检测数据库。人脸视频检测数据库用于人脸视频解析功能测试,人脸识别性能测试数据库能用于人脸图像解析、数据存储、人脸比对、人脸识别决策等功能测试及人脸注册失败率、响应时间等性能测试。
a) 人脸图像格式可为 BMP、JPEGPNG、JPEG2000、TIFFGIF 等
1)包含人脸的图像数量为 90%,且不少于 5 万个人脸;
注:“交并比”指一张图像上,两个人脸标注框的交叠率,即它们的交集与并集的比例。
1) 应采用 H.264、H.265、SVAC、MPEG4 或AVS文件格式录制,每秒录制25帧;
2) 清断度应不低于720P;
3)每组视频5段,每段内容持续时间应不少于10min,总长应不少于 50min。
在室内和室外的实用现场采集,可在正面光、侧面光或逆光等光线多变条件下,人脸可有局部阴影或高光变化;
1)可在过道、自动扶梯、安检门、柜台、电梯门、人行道等处录制;
c) 视频中人员累计出现的总人次数不少于 400 人次,场景中可多人同时出现,符合如下条件人员作为被测试对象:
2)至少应有两眼间距不少于 30 像素的人脸图像:
至少应有人脸水平转动角不超过士45”、俯仰角不超过士25“、倾斜角不超过士25”的人脸图3)像,累积出现的所有人员计入应检测人员。
注:如果测试对特殊人群的检出率.需要设置专项测试数据库,如戴口罩人员的检出。
人脸识别性能测试数据库分为人脸注册基础库、配合式待识别人脸图像基础库、非配合式待识别人脸图像基剧库等,满足如下要求;
a) 样本质量;应满足 GB/T 41772-2022 中表1的要求;
b) 姓本格式:人脸图像格式可为 BMP,JPEG,PNG,JPEG2000,TIFFGIF 等
c) 性别分布:男性占50%士5%,女性占 50%士5%:
e) 图像数量:每个对象在每种人脸图像基础库中的人脸图像数量为 10 张20 张
e)移动测试对象位置,查看系统能否自动判别采集对象位置并根据需要自动调节;
f) 查看人脸识别系统是否具备语音提示、字体大小调节等适老化功能。
1) 系统提供模拟调用服务接口功能,调用视图解析接口;输入 50 张人脸图像,可包含人脸图像质量较差的图像和人脸假体图像,提交视图解析子
3)查看视图解析子系统能否检出人脸图像中的人脸,给出质量判断和活体检测结果及提取人脸特征项;查看活体检测数据记录格式是否满 GB/T 1815.2 的相关要求:
4)查看系统对质量判断未通过的人脸图像是否提示重新采集或重新上传;
查看系统能否给出人脸图像的某些属性,如性别、年龄、发型、是否佩戴口罩、是否戴眼镜等;
1)系统提供模拟调用服务接口功能,调用视图解析接口;
2)输入5段包含人脸的视频,可包含人脸图像质量较差的视频和人脸假体视频,提交视图解析子系统进行解析;
3)查看视图解析子系统能否检出视频中的人脸,给出质量判断结果和活体检测结果及提取人脸特征项;
4)查看系统对质量判断未通过的人脸视频是否提示重新采集或重新上传;
6)查看系统能否给出视频中人脸的某些属性,如性别、年龄、发型、是否佩戴口罩、是否戴眼镜等活体检测性能测试应按照附录B规定的方法。
6.3.1 人脸参考存储
人脸参考存储功能测试方法如下:
a) 系统提供模拟调用服务接口功能,调用数据存储接口;
输入50个测试对象的人脸参考,提交系统存储在人脸注册数据库;
b) 查看系统能否输出每个测试对象的人脸参考对应的唯一人脸参考标识符:
c)删除某一测试对象的人脸参考标识符,查看该人脸参考标识符及对应的人脸参考是否失效;
d)利用人脸参考标识符,使用人脸参考查询功能,查看系统是否返回与人脸参考标识符关联的人脸参考信息,以此判断人脸参考标识符及对应的人脸参考是否有效;
e)当人脸参考存储在人脸识别系统外(例如令牌)时,查看人脸识别系统能否正常读取人脸参考进行比对并输出比对结果。
6.3.2 实时采集数据存储
a)系统提供模拟调用服务接口功能,调用数据存储接口;
b)输入50 个测试对象的人脸探针,提交系统存储在实时采集数据库;
c) 查看实时采集数据库是否存储了输入的人脸探针;
d) 查看人脸识别系统能否查询、删除特定的人脸探针;
e) 删除后,查看实时采集数据库内是否还有删除的人脸探针;
当人脸识别系统具备实时采集数据存储功能时,判断是否有存储实时采集数据的必要性。
a) 测试对象站在采集设备前,确保系统可以采集到满足 GB/T 41772-2022 中表注册人脸样本质量要求的人脸图像;
b) 查看注册过程中,人脸识别系统能否与测试对象进行交互,如提示配合、注册成功等;
c)使用现场采集的同一测试对象的一张或多张人脸图像进行注册;
d)通过数据库或其他方式查看注册信息是否完整,如人脸样本、人脸特征项等;
e)更换采集设备的种类,重复上述过程,记录人脸识别系统可支持的采集设备种类。
a)系统提供模拟调用服务接口功能,调用非现场人脸注册功能,将已存储的同一测试对象的一张或多张满足 GB/T 41772一2022 中表1注册人脸样本质量要求的人脸图像,注册进系统;
b)通过查看数据库或其他方式查看注册信息是否完整,如人脸样本、人脸特征项。
系统提供模拟调用服务接口功能,调用批量人脸样本导入功能。
a)将多张满足 GB/T 41772-2022 中表1注册人脸样本质量要求的人脸图像批量导入到人脸识别系统中并进行注册。
c通过查看数据库或其他方式查看注册信息是否完整,如人脸样本、人脸特征项等。
6.4 人脸比对
a)系统提供模拟调用服务接口功能,调用1:1比对接口;
b)完成指定人脸参考和指定人脸探针的比对;
d)查看系统是否保存相似度得分高于阈值的比对结果;
1∶N比对功能测试方法如下:
a)系统提供模拟调用服务接口功能,调用1:N比对功能接口;
b) 完成人脸探针与指定范围内的所有人脸参考的比对;
c) 当设定比对结果中需要输出的候选者列表数量为k时,查看系统是否输出k个候选者的人脸参考及其对应的相似度得分;
d) 查看相似度得分高于阈值的结果是否均被保存;
e) 查看是否可对比对结果进行检索导出。
6.4.3 异常情况判断及处理
异常情况判断及处理功能测试方法如
a)查看1:1比对和1:N比对测试过程中是否出现异常情况,如比对失败和导出失败等;
b)查看系统的反馈及处理情况,如是否进行有效提示等。
6.5 人脸识别决策
6.5.1人脸验证决策
人脸验证决策功能测试方法如下:
a)系统提供模拟调用服务接口功能,调用人脸注册功能注册一张人脸图像;
b)系统提供模拟调用服务接口功能,调用人脸比对功能;
c)使用同一人的不同的人脸图像进行比对;
d)查看系统是否根据设置的阈值输出相似度得分及决策结果:
e)使用不同人的人脸图像进行比对;
f) 查看系统是否根据设置的阈值输出决策结果;
g) 查看系统能否将决策结果传输至管理子系统。
6.5.2人脸辨识决策
人脸辨识决策功能测试方法如下:
a)系统提供模拟调用服务接口功能,调用人脸注册功能注册多张不同的人脸图像;
b)系统提供模拟调用服务接口功能,调用人脸比对功能;
系统提供模拟调用服务接口功能,使用1张未注册人员的人脸图像进行比对;
c)查看系统是否根据设置的阈值输出相似度得分及决策结果;
d)系统提供模拟调用服务接口功能,使用1张已注册人员的人脸图像进行比对;
e)当设定比对结果中需要输出的候选者列表数量k=1时,查看系统是否根据阈值输出相似度得分及决策结果;当k>1时,查看是否根据阈值输出按照相似度得分排序的k个候选者列表,并给出决策结果;
g)查看系统能否将决策结果传输至管理子系统;
6.6 人脸识别管理
6.6.1阈值设置
闽值设置功能测试方法如下:
a)查看系统是否设置了质量判断初始阈值;
b)修改当前设置的质量判断初始阈值;
c)修改阈值后进行识别操作,查看通过质量判断的人脸图像质量得分是否不低于设定阈值;
d)查看系统是否设置了相似度得分初始阈值;
e)修改当前设置的相似度得分初始阈值;
f)修改阈值后进行识别操作,查看比对通过的相似度得分是否不低于设定阈值。
6.6.2 操作日志管理
操作日志管理功能测试方法如下:
a)输人日志的操作类型、操作时间、操作人员或其他模糊信息等进行查询;
b)导出返回的日志数据,包括操作类型、操作时间、操作人员等。
6.6.3 权限管理
权限管理功能测试方法如下:
a)为人脸识别系统定义的各角色分配权限:
b)使用各角色登录人脸识别系统进行操作;
c)查看各角色能否在系统赋予的权限范围内正常操作;
d)查看关键角色进行关键操作,如阈值设置,是否由第二角色确认。
注:人脸识别系统角色包括系统管理员、安全管理员、审计管理员等,见GB/T38671.
6.6.4 接口配置
接口配置功能测试方法如下:
a)查看应用开放接口类型;
b)根据需求,分别对人脸注册、1:1比对、1:N比对、活体检测等应用开放接口类型进行配置;
C)查看是否能够操作成功。
6.6.5 用户管理
6.6.5.1 增加用户
增加用户功能测试方法如下:
a)增加用户,并将其人脸参考注册进人脸识别系统;
b)使用新增加的用户操作人脸识别系统;
c) 查看能否正常使用人脸识别系统进行相关操作。
6.6.5.2 修改用户信息
6.6.5.4 查询用户
查询用户功能测试方法如下:
a)输入用户ID或其他模糊信息进行查询;
b)查看是否可获取返回用户信息。
6.6.5.5 停用用户
6.6.5.6启用用户信息
a)根据需求,分别对人脸注册、1:1比对、1:N比对、活体检测等应用开放接口类型进行配置;
b)完成接口配置后,分别进行人脸注册、1:1比对、1:N比对、活体检测等相关操作,查看系统能否提供相关服务;
c)查看相关文件,确认提供服务的算法、设备是否按照GB/T28826.2进行了登记。
a)输入人脸检测样本库,其中人脸图像中的真实人脸数量为A0;
e)按照公式(1)和公式(2)计算人脸检出率和人脸误检率:
公式(1):人脸检出率=(A1-A2)/A0x100%
|
a)确认人脸视频检测样本库,其中视频中应检出人脸图像的总人次数B0;
f)重复c)-e)直至依次完整输人指定数量的人脸检测视频;
g)查看检测结果,统计人脸检测结果中未被检出人脸图像的人次数B1,以及检出的人脸图像的总数B2,检出的人脸图像中非人脸图像数B3;
h)按照公式(3)和公式(4)计算人脸检出率和人脸误检率:
公式(3)人脸检出率=(B0-B1)/B0*100%
|
a)将从人脸注册基础库选取的C1张人脸图像输入到受试算法的特征项提取功能,其中每个测试对象不少于5张,成功提取人脸特征项并生成特征文件的人脸图像状态标记为“注册成功”,未成功提取特征项且生成特征文件的人脸图像状态标记为“注册失败”;
b)统计标记为注册失败的全部人脸图像数量C2按照公式(5)计算FTER
人脸验证性能包括错误接受率和错误拒绝率,测试方法具体如下。
a)从人脸注册基础库选取人脸图像,构造D个测试对象的人脸注册集,每个测试对象有且仅有一张人脸图像。
b)从配合式待识别人脸图像基础库构造中D个测试对象的人脸探测集,注册集中的人脸图像在探测集中有唯一对应的人脸图像。
c)将人脸探测集中的人脸图像与人脸注册集中的人脸图像进行交叉比对并输出相似度得分。
d)记录测试结果,包括正确对应关系注册照和探测照相似度得分、非正确对应关系注册照和探测照相似度得分,测试结果记录参考格式见附录C。
e)第一种指标计算方式,固定错误接受率FAR,如FAR在万分之一时,错误拒绝率FRR的计算方法如下:
1) 按“(D²-D)/10000”的公式计算得出万分之一FAR下,得出表C.3中序号M(M取整数,小数向前进一位),及与之对应的相似度得分N,作为相似度值;
f) 第二种指标计算方式,在不固定FAR的情况下,测试固定阈值下的性能指标,计算方法见公f)式(6)和公式(7):
1)根据“非正确对应关系注册照和探测照相似度得分记录”,统计超过阈值的测试结果数量,即为错误接受的数量P;
2根据“正确对应关系注册照和探测照相似度得分记录”,统计未超过阈值的测试结果数量,即为错误拒绝的数量Q
公式(6)FAR=P/(D²-D)X100%
公式(7)FRR=Q/Dx100%
式中:
FAR-错误接受率;
FRR--错误拒绝率;
P错误接受的数量;
Q测试对象总数量。
D错误拒绝的数量。
|
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
7.1.3.2 人脸辨识性能
人脸辨识性能包括FPIR和FNIR,测试方法具体如下。
a)从人脸注册基础库中选取人脸图像,构造E0个测试对象的人脸注册集,每个测试对象有且仅有一张人脸图像。
b)从配合式待识别人脸图像基础库或非配合式待识别人脸图像基础库中选择人脸图像,构造a)中E0个测试对象的人脸探测集,即目标人探测集,每个对象在探测集中可有多个人脸图像,目标人探测集人脸图像数量记录为E1。
c)从配合式待识别人脸图像基础库或非配合式待识别人脸图像基础库中选择人脸图像,构造E0个测试对象以外的测试对象的人脸图像数据集作为人脸探测集,即非目标人探测集,每个测试对象可有多个样本,非目标人探测集人脸图像数量记录为E2。
d)对目标人探测集中每个人脸图像与注册集的所有人脸图像进行比对,并根据要求保留包含相似度得分且相似度得分靠前的前k个注册集人脸图像;记录比对结果,比对结果数量为E1。
e)对非目标人探测集中每个人脸图像与注册集的所有人脸图像进行比对,并根据要求保留包含相似度得分目相似度得分靠前的前k个注册集人脸图像;记录比对结果,比对结果数量为E。
f)统计测试结果,并按照公式(8)和公式(9)计算FPIR和FNIR。
1)统计非目标人探测集比对结果,若比对结果中包含来自注册集的样本图像,则为错误接受,记录错误接受的数量E3;
2)统计目标人探测集测试结果,若比对结果中不包含和对应注册集人脸图像来源一致的目标人探测集人脸图像,则为错误拒绝,记录错误拒绝的数量E4。
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
记录 7.1.3.1中步骤c)总比对时间T,和比对次数,计算人脸验证平均响应时间见公式(10);
记录 7.1.3.2 中步骤 d)和 e)总比对时间 T2和比对结果数量,计算人脸辨识平均响应时间,见公式(11):
测试前应制定详细的测试方案,测试方案从测试环境设计、测试对象的组成、测试对象的通行方式测试流程等方面进行具体规定,指导测试的进行:
a )测试环境应结合实际应用场景,考虑与采集设备的距离、偏转角度、光源强度等参数;
b)测试对象的组成应考虑人脸识别系统实际应用的对象构成;
c)测试对象的通行方式应模拟应用场景下使用该系统的人群的典型通行方式。
人脸注册失败率、人脸验证性能指标及响应时间、人脸辨识性能指标及响应时间测试步骤如下:
a)人脸注册:选择特定数量的测试对象,每个测试对象分别在正常光照、背面光、侧面光等不同光照下进行人脸注册,过程中记录总通行次数,注册成功次数、注册失败次数。
b)人脸验证及响应时间:测试对象在配合情况下面向人脸识别系统采集装置并进行人脸识别,每个测试对象识别的次数应固定且相同。测试过程记录以下内容:
1)使用运行日志记录人脸识别系统的每个功能模块的启动时间和结束时间;
2)根据日志,统计每次从采集子系统视图采集完成到系统返回识别结果的时间;
3)统计测试对象总的通行次数、发生错误接受的次数和错误拒绝的次数。
c)人脸辨识及响应时间:根据实际应用场景,用户在配合情况下或模拟真实场景面向或通过人脸识别系统采集装置并进行人脸识别。根据实际应用场景,每人可在不同情况下进行识别,每人识别的次数应固定且相同。测试过程中记录以下内容:
1)使用运行日志记录人脸识别系统的每个功能模块的启动时间和结束时间;
2)根据日志统计每次从系统采集端人脸采集完成到返回识别结果的时间;
3)统计测试对象总的通行次数、发生错误接受的次数和错误拒绝的次数。
f)根据步骤b)统计结果计算人脸验证的响应时间及错误接受率和错误拒绝率。
g)根据步骤c)统计结果计算人脸辨识的响应时间及FPIR和FNIR。
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
![GB/T42981人脸识别系统测试方法 GB/T42981人脸识别系统测试方法]()
原文始发于微信公众号(网络安全等保测评):GB/T42981人脸识别系统测试方法
评论