在最近的评估中trueface通过使用一个名为公平脸,标有种族,性别和年龄段,写信中等帖子中,TrueFace的计算机视觉软件开发人员Cyrus Behrozi。
该样本包括每个种族和性别群体中几乎相等的信息,以确保所有人都充分代表。 TrueFace将图像比较以估计每个图像对的相似性得分。
“由于数据集中的所有图像都属于不同的身份,因此比较被视为冒名顶替者匹配,并且相似性分数的分布应大约为0,” Behroozi解释说。 “然后,我们计算出不同的相似性得分阈值的假阳性率从0到1,以在每个种族和性别群体之间进行比较。”
当团队在针对阈值的不同种族上测试模型时,对白人的表现最佳,而表现最差的是东亚人的表现最差,证实存在一些偏见,但“表现最少”。
根据Behroozi的说法,在公正的面部识别模型中,假阳性速率应很小。评估表明,模型TrueFace在女性方面的表现比男性表现更好,但是差异和偏见可以忽略不计。无偏见的面部识别模型可以轻松地在任何地理位置中部署,而无需对其进行重新训练或馈送新数据,无论种族和性别如何,它都会带来互补的结果。该公司表示,例如,它可以在美国,日本,巴基斯坦,白俄罗斯和英国的办公室以及不同社区或城市的杂货连锁店中使用。有关评估的详细信息,请参见中等的。
当在面部识别算法中检测到偏差时,这表明结果可能并非所有人口统计学都准确。根据NIST面部识别供应商测试结果,许多算法对女性和皮肤深色的人表现出很高的假阳性率。
TrueFace的软件最近是在199个算法中排名第七根据最新的面部识别供应商测试(FRVT),美国国家标准技术研究所(NIST)的结果,在真正的模板比较时间中。