远程IDV的DHS自拍生物识别评估显示性能范围

根据美国国土安全部的研究，生物识别面部验证可能是进行远程身份验证的有效工具，但是许多系统仍然存在一些问题。

DHS科学技术局（S＆T）的网络研讨会分享了远程身份验证技术演示第二阶段的结果（Rivtd）。 RIVTD轨道2评估了将自拍照与文档中包含的图像匹配的功能。

在马里兰州测试设施（MDTF）进行的测试表明，许多系统在从ID文档中提取生物识别模板很难，通常在旋转的面部图像中挣扎。在更有效的系统中，面对生物识别性能在智能手机类型，对自拍照和人口统计学的控制程度之间保持一致，但是在大多数情况下，基于FMR目标设定阈值构成了挑战。

S＆T推出了它轨道3的评估，今年早些时候评估自拍生物识别技术的垫或透明度检测功能。

解决评估差距

Arun Vemury在介绍性概述中说，进行了分析以解决“系统如何执行的独立，客观数据”的缺乏。进行和宣传的评估使得“很难在不同系统和不同的实现之间进行苹果对苹果进行比较，因为实际上并没有很多出色的测试过程，在这些过程中，一切都在相同的基准下进行了验证。”

他观察到，测试系统的有效性和公平性对于该行业来说很难，部分原因是规模测试很大程度上是有效的。

约翰·霍华德（John Howard）回顾了自拍生物识别匹配轨道，所使用的数据和系统属性。

他说：“与我们所做的其他一些测试相比，这是一种延长的时间表的原因之一是，在2023年夏天，一个数据集以评估匹配文档系统的数据集并不真正存在。” “没有人会从同一人那里策划一组单独的ID文件和自拍照。”

S＆T与1,633名志愿者一起测试了远程身份验证，他们在去年5月和9月的一对数据收集会话中，每个人都提供了三种不同的晚期模型智能手机的受控和一个不受控制的自拍映像。志愿者代表不同的性别，年龄和种族。评估了一个非合作比较的纵向数据集，以计算错误的匹配率（FMR）。

带有服务器应用程序的基于Linux的Docker容器中发送的供应商，它们是离线运行的，以保护参与者的隐私。有18个供应商申请参与，其中16个被接受，其中10个对于所有评估的指标都可行。 S＆T认为，在结果中获得别名的供应商代表了生物特征匹配中的最新技术。

可变结果和常见问题

所有16个供应商都能够从自拍照中提取生物识别模板，而13个供应商都能够从至少一半的ID文档中提取模板，这证明这是一项更加困难的任务。十几个能够成功地比较现场照片和ID文档中的模板，但是其中两个具有虚假的非匹配率（FNMR），用于90％以上的真实对。

自拍照的未提取率（FTXR）通常很低 - 14个系统中的14个低于1％ - 尽管不受控制的自拍照观察到了一些可变性。使用的手机（Apple iPhone 14，三星Galaxy S22，Google Pixel 7）对提取率的影响很小。对于文档，FTXR对于3个离群系统很高，而16个中有6个FTXR低于1％。使用的iPhone倾向于提供比三星智能手机更低的FTXR，并且来自不同州的文档有一定的变化。

在匹配方面，FNMR的中位数约为0.2％。

Yevgeniy Sirotin解释说，使用受控自拍照，FTXR通常较低。令人鼓舞的是，除生物识别系统和智能手机的48个组合中的四个外，所有人口组的基准都达到了1％，中位错误率为0％。某些人群群体之间的某些组合具有明显的错误率趋势。

不受控制的自拍照更具挑战性，48个组合中有41个符合1％的阈值。中位错误率仍然是0％，但是观察到更多的错误，男性有一些组合，60岁以上的人以及肤色最暗的人。

在生物特征匹配阶段，30个组合中有23个符合受控图像的1％FNMR基准，但黑人参与者的FNMR中位数为0％至0.35％。对于不受控制的图像，30个组合中有25个符合基准，但它是FNMR中位最高的31-45岁年龄段的志愿者，为0.19％。

错误的匹配率（FMR）设置为10,000分之一更新的NIST SP 800-63B。

S＆T基于随机冒名顶替者和人口统计学匹配的冒险者，用纵向数据集证实了FMR。基于数据集之间的可变性给出了一些余地，但是尽管如此，很少有系统处于预期范围。对于随机冒名顶替者，14个中的4个具有比预期或更多的fmrs高3倍，而5个fmr的fMR比预期低三倍。对于人口统计匹配的冒名顶替者，有10个更具宽容性，2个更为保守，而只有2个在预期范围内。

Sirotin说：“根据经验，我们看到同一性别，种族和相似年龄的冒名顶替者实际上将虚假匹配率提高了约10倍。”这意味着，当没有人口统计数据时，与随机冒名顶替者相比，目标FMR比随机冒险者降低了十倍。

16个中只有一个生物识别系统符合所有基准测试，尽管只有比预期的更保守的安全性（FMR）遗漏了两个生物识别系统。另一个人具有更宽松的FMR，但否则就达到了目标。