这华盛顿大学将从其最初的结果中释放巨型挑战在IEEE计算机视觉和模式识别会议(CVPR 2016)6月30日。
巨型挑战赛是全球首场比赛,旨在评估和提高“百万人级”面部识别算法的性能。巨型挑战赛可突出尚未完全解决的面部识别问题,包括识别不同年龄的同一个人并认识到不同姿势的人。
面部识别系统的先前测试使用了少量的图像样本进行评估(通常限制为10,000左右)。相比之下,Megaface Challenge的数据集利用了来自世界各地的100万个Flickr图像,这些图像是在创意共享许可下公开可用的,代表690,572个独特的个人。
收集这些图像后,华盛顿大学的图形与成像实验室(Grail)然后,挑战了世界各地的面部识别团队,以下载数据库,并查看其算法在不得不区分一百万个可能的比赛时的性能。
UW Kemelmacher-Shlizerman说:“我们需要在行星尺度上测试面部识别,以实现实际应用 - 更大范围的测试使您可以发现识别算法的缺陷和成功。” “我们不能仅仅以很小的规模进行测试,并说它正常工作。”
测试其算法的公司包括Google和n-techlab。 Google的FaceNet在一项测试中表现出最强的性能,当面对较小的图像到75%的人测试时,从近乎完美的准确性下降。 N-Techlab也表现出很强的准确性。
相比之下,在遇到更艰巨的任务时,其他算法在小范围内表现良好的准确率下降了更大的百分比,至33%的精度。
凯梅尔马赫·史利兹曼(Kemelmacher-Shlizerman)补充说:“我希望我的手机能够正确地识别出一百万人中的我(即70亿人)中的我,而不仅仅是10,000左右。”
第一轮分析的结果是发表论文并由Kemelmacher-Shlizerman合着,以及UW计算机科学和工程学教授Steve Seitz,本科生和Web开发人员Evan Brossard和前学生Daniel Miller。
根据大学,Megaface挑战正在进行中,并且仍在接受结果。
该团队的下一步包括组装50万个身份,每个身份都有许多照片,用于训练面部识别算法的数据集。这将有助于平衡竞争环境并测试哪种算法的表现优于其他算法,因为大多数研究人员无法访问与Google或Facebook维护的图像收藏的大量收集。新数据集将在夏季结束时发布。
超过300个研究小组正在参与Megaface Challenge,研究本身由国家科学基金会,,,,英特尔,,,,三星,,,,谷歌和华盛顿大学动画研究实验室。