根据麻省理工学院研究人员Joy Buolamwini发布的研究,最近在面部识别算法的准确性方面取得了重大改进,但几种领先的技术将其性别误分类。纽约时报。
Buolamwini用她创建的数据集对几个提供商的面部识别技术进行了测试,并称为Pilot Parliaments Benchmark,该基准将几乎甚至在男女之间进行比较,并且皮肤较暗。该测试发现与她的结果相比有了显着改善先前的测试于2018年初出版,但也为面部生物识别技术添加了基准亚马逊和凯罗斯。
Buolamwini还介绍了一些研究世界经济论坛在达沃斯举行的年度会议,讨论如何“编码凝视”(引用“男性凝视“在电影批评中确定)将偏见从程序员通过数据集传递到人工智能系统。
新数据集的初始测试对于IBM的面部识别技术产生了87.9%的精度,90%的精度为90%Megvii的脸++,微软为93.7%,而Buolamwini指出“数字似乎还可以。”通过性别,皮肤类型和两个变量分析,对于某些组,系统的准确性明显降低。 Microsoft不到80%的病例中,皮肤较深的女性与脸部++相匹配,而脸部++的表现略高于Microsoft的深色皮肤男性,黑皮肤女性的精度仅为65.5%。 IBM的技术使女性具有深色皮肤,仅成功率为65.3%。当被要求通过性别对受试者进行分类时,那些皮肤最黑暗的女性的多个提供商系统的错误率超过40%。
Buolamwini向公司通报了结果,并进行了一些重大改进,包括IBM的准确性,确定皮肤深色皮肤的女性跃升至83.5%。 Buolamwini指出了改进揭穿任何建议问题的核心与物理有关。
亚马逊的重新认知误认为数据集的7.5%,女性超过16%,皮肤较暗的人中的性别超过13%。亚马逊的女性在31%的时间内被误分类,而Kairos的时间为22.5%。 《泰晤士报》报道说,卡罗斯首席执行官梅利莎·多瓦尔(Melissa Doval)在一家中接管了公司争议该公司说,这可能与Buolamwini的担忧显着有关,该公司于10月发布了一种新算法,受到研究的启发。
在信(PDF)到亚马逊首席执行官Jeff Bezos,Buolamwini呼吁亚马逊停止向执法部门提供其面部生物识别产品。但是,该测试没有使用最新版本的亚马逊面部识别服务重新认知,该产品在测试中的产品奥兰多警察,并将其用于分析,而不是识别。该公司没有直接响应,几个月后重新测试时,技术的准确性也没有提高。
亚马逊Web Services Matt Services Matt Services Matt Services Matt Services Matt Services Matt Matt Wood博士在一封电子邮件声明中说:“不可能根据任何用例得出任何用例(包括执法)的面部识别的结论。”生物识别更新。 “本文中的结果也不使用最新版本的重新认知,也不代表客户今天使用该服务。使用Amazon Rekognition的最新版本,并从议会网站下载了类似的数据,我们发现了1M图像的Megaface数据集,我们发现了与推荐的99%Fultes 99%Fultes 99%Fultes fusites fusits thershold的零件。”
伍德博士补充说:“我们继续寻求投入和反馈,以不断改进这项技术,并支持创建第三方评估,数据集和基准。” “We have provided funding for academic research in this area, have made significant investment on our own teams, and will continue to do so. Many of these efforts have focused on improving facial recognition, facial analysis, the importance of high confidence levels in interpreting these results, the role of manual review, and standardized testing. Improvements made in these areas are routinely made available to customers using Amazon Rekognition; most recently through a significant update to the service in November 2018. Accuracy, bias,适当使用信心水平是AWS的重点领域,我们感谢为改善这些技术做出贡献的客户和学者。”
马萨诸塞州民主党参议员爱德华·J·马基(Edward J. Markey)告诉《泰晤士报》:“当且仅当它与美国价值观一样,应该使用像亚马逊的重新认知的技术。” “我认为目前没有达到标准。”
Buolamwini还是算法正义联盟的创始人,该联盟启动了安全的面部承诺竞选公司在12月遵守面部识别的道德标准。