美國國家科學技術研究所(NIST)發表了有關生物識別面部識別準確性或“偏見”人口差異的新研究,這證實了某些算法在匹配女性和黑色皮膚較暗的人方面的準確性既有顯著差異,又證實了對先前研究的顯著改善。
這報告在“面部識別供應商測試(FRVT)第3部分:人口效應”中是指先前的研究喬伊·布拉姆維尼(Joy Buolamwini)和其他人表明面部生物識別技術的偏見,但建議在從此類研究中得出結論時謹慎行事。該報告確實支持擔心,大多數面部識別技術具有與不同人群相匹配的準確性不同的問題,但是,這已被用作反對執法部門技術使用的論點。
NIST計算機科學家和該報告的主要作者Patrick Grother評論說:“雖然跨算法發表陳述通常是不正確的,但我們發現了我們研究的大多數面部識別算法中存在人口差異的經驗證據。” “儘管我們不探討可能導致這些差異的原因,但對於決策者,開發人員和最終用戶,這些數據將在思考這些算法的局限性和適當使用這些算法方面有價值。”
NIST的圖像小組負責人克雷格·沃森(Craig Watson)告訴《 The The》美聯社。 “主要信息是不要試圖在所有技術中概括結果。知道您的用例,正在使用的算法。”
Buolamwini在一封電子郵件中告訴美聯社,該研究提醒了該技術的“相應技術限制”。
Buolamwini表示:“儘管一些生物識別研究人員和供應商試圖聲稱算法偏見不是問題或已經克服的,但這項研究提供了全面的反駁。”
該報告研究了99名開發人員的189個算法,為每個開發人員提供了假陽性和假負率。
格羅斯指出:“在一對一的搜索中,虛假的負面可能只是不便 - 您無法進入手機,但是通常可以通過第二次嘗試來解決問題。” “但是一對一搜索中的假陽性使一場不正確的比賽在需要進一步審查的候選人列表中。”
NIST說,以前很少有研究評估過一對一匹配系統中的人口影響,而一對一的系統沒有這樣做。
所測試算法的準確性差異很大。其他廣泛的發現包括相對於高加索人的亞裔和非洲裔美國人面孔的較高誤報率,以及在美國開發的算法中,亞洲人,非裔美國人和本土群體的假陽性率很高。對於在亞洲開發的算法,亞洲和高加索人面孔之間沒有巨大的差異,這表明更多的培訓數據可以產生更公平的結果。對於一對一的匹配,在與非洲裔美國女性匹配時會觀察到較高的假陽性率,但是最準確的算法也是最公平的,並且沒有顯示出如此高的錯誤率。
NIST指出,完全考慮使用面部識別的適當性也必須考慮使用案例。
法國數據保護局CNIL擁有出版了貢獻圍繞該技術的政治討論,由其專員進行審查。 CNIL規定了面部識別是什麼以及用來提供清晰度的技術定義,並強調了對風險評估和適當保障措施的需求。該機構還審查了通過在歐盟和國家一級的GDPR和其他法律結合使用的面部識別框架的更嚴格的要求,並闡明了其在為這些框架提供建議和執行但不確定此類框架方面的立場。
這生物識別學院歡迎NIST報告,稱這表明面部識別是一種非常準確但概率的技術。該組織敦促其成員意識到他們正在使用的算法,並根據其生物識別工具的優勢和劣勢負責任地行動。
生物識別研究所首席執行官Isabelle Moeller說:“生物識別技術可以是幫助識別和驗證一系列用例的有效工具。” “這些範圍從使用您的臉部解鎖手機的便利性到更快地通過護照控制,到在技術的幫助下,可以在眾所周知的情況下找到臉,而不是獨自依靠人類的人,但是,當我們認為偏見一詞時,我們傾向於將其視為一種預先識別的,有思想和偏見的人類的特質,以此為biias fortial te The Technertion te The Tech Tech Tech and Comestim。可能是因為提供的訓練系統的數據不足以多樣化。
Grother將於2020年3月24日在華盛頓特區的美國國會上談論偏見和人群差異。
文章主題
準確性|演算法|生物特徵偏置|生物識別技術|生物識別學院|面部識別供應商測試(FRVT)|面部識別|放置Buoymwini|nist|標準