通常,精度高的生物识别系统可以以不同的人群的错误率或其他各种因素的错误率形式存在隐藏的性能问题。如何在实验室环境中找到和解决这些差异。唱片实验室生物识别服务线经理乔尔·迪·曼诺(Joel Di Manno)在演讲中FIDO联盟'身份验证2023会议。
Di Manno在他的演讲中:“偏见如何影响生物识别技术的使用?”,讲述了客户寻求质量保证测试的经验。
发现一种特定的演示攻击工具的成功率远远超出了总体强劲的结果。人群分析显示,在用面具的成功攻击中,肤色相同的频率很高。
Di Manno解释说,这种绩效差异有很多可能的原因,包括但不限于培训数据的平衡。在这种情况下,通过改善给定的人群的性能来解决错误是一种更好的方法,例如,在更多的面罩上训练系统。
迪·曼诺(Di Manno)指出,确认对现场主题的怀疑将需要在一个昂贵且耗时的过程中招聘数十人中的数十人。 Fime的解决方案是使用合成数据,而不是用于官方评估,而是测试算法中人口弱点的假设。
确认后,开发人员分析了其训练数据,发现缺乏影响受影响的肤色的代表性。
Di Manno概述了可能引入错误的广泛因素,从偏见和个人细节到环境挑战和捕获设备质量。他指出,不同的因素将以不同的方式产生差异。
在研究论文和随后的实验di Manno总结的实验中,可以看到将错误引入指纹生物识别技术的环境因素的一个示例。在低湿度环境中,女性受试者的错误率明显高于男性。在中等和高湿度环境中,没有相同的差异。
一个纸Fime在10月份发表在指纹算法中观察到的差异物,发现两种性能在不同环境中都不稳定。根据Di Manno的说法,这表明将钻入特定情况的好处,这些方案可以在部署前引入差异。
他敦促开发人员在此过程中尽早对其产品进行这种仔细研究,以最大程度地减少从对象的肤色到湿度水平的不同匹配条件的现实影响,对生物识别性能具有。