即将在澳大利亚进行的试验的年龄保障技术的测试和评估将由总部位于墨尔本的软件咨询公司 KJR 进行,InnovationAus.com报告。早期发现的挑战之一是确保生物识别年龄估计和其他技术对澳大利亚原住民和其他人一样有效。
审判是由英国年龄检查认证计划 (),并吸引了大约 50 家年龄保证提供者的参与。
其中包括年龄保证领域熟悉的名字,例如,,,,,,,和。,为澳大利亚政府提供人脸生物识别和活体检测,有吗,国内开发商也有和法国开发商。
KJR 的代表表示,测试将提供保证并帮助利益相关者保持诚实。这一点很重要,部分原因是一些技术(例如 Needemand 的技术)的有效性太新,尚未经过独立测试。
“所有迹象都表明,它已经成熟,”KJR 总经理 Andrew Hammond 告诉 InnovationAus.com。 “当然,行业已经改变了几年前的看法,以前认为这是不可能的,现在这是可能的。”然而,他表示,需要进行更多的测试,才能对年龄保障行业最大胆的说法的可靠性给出结论性答案。
此外,还有一些关于偏见挑战的担忧,这些挑战在类型上是普遍存在的,但却是针对澳大利亚市场的人口统计特征的。在这组测试之后,将在学校环境中对来自不同人口群体(包括原住民)的 13 至 23 岁人群进行更广泛的试验来测试该技术。
哈蒙德指出,在美国或英国开发的模型“不太可能有我们的原住民”,因此有必要测试系统是否存在因训练数据代表性不足而导致的偏差。
正如生物识别测试实验室 Fime 指出的那样,“现在人们一致认为,人工智能模型的好坏取决于训练它的数据。”
改进生物识别偏差测试
正如最近的一份报告所述,生物识别偏差测试近年来取得了显着发展博客文章从。
生物识别系统准确性的主要参数是错误接受率 (FAR) 和错误拒绝率 (FRR),它们构成了测量差异的基础。这些衡量指标采用“公平差异率(FDR)、不平等率(IR)、生物特征公平性基尼聚合率(GARBE)或分离公平指数(SFI)”等指标。
Fime 详细介绍了评估指标敏感性的测试方法。
“一旦计算出无偏差和综合偏差场景的数据集的公平性指标,专家们就可以使用皮尔逊相关系数来可视化指标与引入的偏差之间的线性关系,”该帖子解释道。 “然后他们可以比较公平性指标如何响应每个综合更改。由 alpha 参数(FDR、IR 和 GARBE 中使用的一个变量值,用于实现安全性和用户体验之间的公平)控制的指标比没有α参数的指标更不稳定。”
最终,Fime 提出使用面积最大差异率 (AMDR) 作为改进的公平性指标,它测量错误匹配率 (FMR) 和错误不匹配率 (FNMR) 之间的差异。
文章主题
||||||||








