這華盛頓大學將從其最初的結果中釋放巨型挑戰在IEEE計算機視覺和模式識別會議(CVPR 2016)6月30日。
巨型挑戰賽是全球首場比賽,旨在評估和提高“百萬人級”面部識別算法的性能。巨型挑戰賽可突出尚未完全解決的面部識別問題,包括識別不同年齡的同一個人並認識到不同姿勢的人。
面部識別系統的先前測試使用了少量的圖像樣本進行評估(通常限制為10,000左右)。相比之下,Megaface Challenge的數據集利用了來自世界各地的100萬個Flickr圖像,這些圖像是在創意共享許可下公開可用的,代表690,572個獨特的個人。
收集這些圖像後,華盛頓大學的圖形與成像實驗室(Grail)然後,挑戰了世界各地的面部識別團隊,以下載數據庫,並查看其算法在不得不區分一百萬個可能的比賽時的性能。
UW Kemelmacher-Shlizerman說:“我們需要在行星尺度上測試面部識別,以實現實際應用 - 更大範圍的測試使您可以發現識別算法的缺陷和成功。” “我們不能僅僅以很小的規模進行測試,並說它正常工作。”
測試其算法的公司包括Google和n-techlab。 Google的FaceNet在一項測試中表現出最強的性能,當面對較小的圖像到75%的人測試時,從近乎完美的準確性下降。 N-Techlab也表現出很強的準確性。
相比之下,在遇到更艱鉅的任務時,其他算法在小範圍內表現良好的準確率下降了更大的百分比,至33%的精度。
凱梅爾馬赫·史利茲曼(Kemelmacher-Shlizerman)補充說:“我希望我的手機能夠正確地識別出一百萬人中的我(即70億人)中的我,而不僅僅是10,000左右。”
第一輪分析的結果是發表論文並由Kemelmacher-Shlizerman合著,以及UW計算機科學和工程學教授Steve Seitz,本科生和Web開發人員Evan Brossard和前學生Daniel Miller。
根據大學,Megaface挑戰正在進行中,並且仍在接受結果。
該團隊的下一步包括組裝一百萬個身份,每個身份都有許多照片,用於訓練面部識別算法的數據集。這將有助於平衡競爭環境並測試哪種算法的表現優於其他算法,因為大多數研究人員無法訪問與Google或Facebook維護的圖像收藏的大量收集。新數據集將在夏季結束時發布。
超過300個研究小組正在參與Megaface Challenge,研究本身由國家科學基金會,,,,英特爾,,,,三星,,,,Google和華盛頓大學動畫研究實驗室。