NIST计划在EAB网络研讨会上推出的进一步生物识别偏见评估

尽管在过去几年中，所有人口组的面部识别系统的生物识别匹配准确性都取得了重大提高，即使衡量偏见问题的程度仍然是一个挑战，因为一系列专家告诉听众欧洲生物识别协会s（eab）的“生物识别系统”虚拟事件中的人口公平性。

在活动的3月中旬，反恐联合国办公室的玛格丽塔·纳塔利（Margherita Natali）谈到了生物识别技术在边境安全管理中的作用，联合国对生物识别技术使用和共享的建议最佳实践的汇编，以及对边境系统的挑战，包括面部识别，包括面部识别，来自COVID-COVID-119。她强调了一种基于人权的方法，用于在边境控制中使用生物识别技术。

Aythami Morales提出了一种用于机器学习的方法隐私权表示。他还展示了提高所有群体准确性的可能性，以实施减少偏见的负责人AI实践。

Vincent Despiegel族裔讨论了减轻偏见的方法，包括平衡培训数据库，同时也找到正确的损失功能。

帕特里克·格罗斯（Patrick Grother）NIST谈到了该组织在人口差异方面的工作，下一份报告估计将于2021年5月发布。

Grother说，将来的NIST FRVT排行榜选项卡中可能包含有关人口绩效差异的摘要数据。他以IDEMIA算法的示例将虚假拒绝从2017年的13％降低到2021年的0.4％，他解释了过去四年来面部识别准确性的巨大提高。

描述了NIST对面部生物识别技术中偏见的研究的起源，Holoth回顾了争议的开始永久阵容' 和 '性别阴影'研究，以及研究所量化问题的方法。

他说：“我们想做的是在所涉及的指标中提出一些特殊性。” “如果有人断言面部识别是有偏见的，那是什么意思？这与误报，假否定因素或未能注册有关吗？是关于一对一的系统吗？一对多系统？”

Grother告诉活动与会者，理解该测试的常见方法是在特定的，政策确定的错误接受率上比较错误的非匹配率是错误的。而不是固定的虚假匹配率，“我们应该以算法的固定阈值报告。”错误的匹配率和错误的不匹配率的差异都会发生，但在特定FMR处的统计数据没有反映。

Grother观察到，面部生物识别技术的阈值设定程序似乎来自指纹匹配的实践，但对年龄对面部生物识别技术的影响的NIST研究表明，这种方法的局限性是对人口统计学差异的盲目限制。

最近的人口差异测试表明，人们通常与来自世界各地的其他地区不匹配，但更有可能被误认为是来自世界同一地区的人。此外，与世界其他地区的人们相比，来自欧洲的人不太可能被算法误认为来自同一地区的其他人。来自nune显示欧洲人中有33,000人中有1分之一，但尼日利亚人只有1,000名，而韩国人则为1,000名。其他算法显示较低的假阳性，表明不同训练数据的值，但有些显示出更高的偏差幅度。

FNMR差异较小，但是大大的结论是，所有算法都有人口统计学差异，在这一点上，对于女性，它们的表现始终如一。

Idiap在生物识别公平度量基于FMR和FMNR的最坏情况差异，该领域的发展为“公平差异率”，在0到1之间计算出来，其中1表示人口统计学之间的准确性完美平衡。 NIST开发了一种“不平等度量”，该措施产生了一个比率，但是由于错误率的高度不确定性，需要更多数据来为FNMR产生有效的措施，并且需要进一步的工作来报告1：N算法中的偏见。

格罗斯说，有几位开发人员已经开始努力应对NIST提出报告时所打算的问题，尽管许多开发人员还没有。

EAB对生物识别技术人口公平的检查继续本周继续，Yevgeniy Sirotin，Jacob Hasselgren和Maryland Test设施的John Howard以及其他国际专家的演讲，因此请注意此空间生物识别更新继续覆盖。