根據美國國家標準技術研究所的最新測試結果,隨著算法開發人員將精力集中在面部生物識別技術的偏見下降。然而,確切的改進數量甚至很難衡量。
NIST面部識別供應商測試(FRVT)第8部分:總結人口統計學差異已發表評論,該機構正在尋求方法來改善其對受試者組之間生物識別準確性變化的測量。
該文檔的大部分內容都用於解釋用於衡量偏見的不同統計數據,以及對不同方式的優勢和局限性。先前關於人口差異的報告,FRVT第3部分,在最準確的算法中顯示出非常低的差異,但總體上顯著差異。
約翰·霍華德(John Howard),埃利·萊爾德(Eli Laird),伊夫根尼·西羅汀(Yevgeniy Sirotin),麗貝卡·魯賓(Rebecca Rubin),傑里·蒂普頓(Jerry Tipton)和阿倫·維莫里馬里蘭州測試設施。 NIST增加了兩個,但發現沒有一個非常適合清楚地表達測試結果。
NIST還深入研究瞭如何處理低錯誤率值之間的比較。這包括挑戰,例如如何避免暗示一種算法,該算法返回一個人群的差錯率接近零錯誤率,而對於另一個人群仍相對較低但相對較高的錯誤率比這兩個算法要差。
“最大/歡樂”度量被確定為領先的候選人,並在已發表的測試結果中介紹。
供應商結果與幾何平均率相比,由NIST共享,最大錯誤的非匹配率(FNMR)和虛假匹配率(FMR)。 1的結果表明匹配奇偶校驗。 FNMR Max/Geomean結果幾乎全部介於1到2之間,而FMR最大/Geomean的結果從略微從6到超過300多。
未來的NIST研究將將相同類型的測試應用於1:N(識別)生物識別系統,以及ISO標準正在發展。
Corsight聲稱在減少偏見方面領導
Corsight AI根據公司的宣布,黑人和白人測試小組之間的男性和女性受試者的虛假匹配率相等。
該公司的算法在2022年7月的測試結果更新中,得分為1.01 FNMR最大/Geomean和20.63 FMR Max/Geomean。
NIST還使用Corsight的算法,Clearview AI,,,,科斯克斯,,,,deepglint,,,,族裔,,,,nune和Paravision與東歐受試者相比,錯誤率與不同的人口統計學的比較中的例子。
Corsight首席隱私官托尼·波特(Tony Porter)說:“我們很激動,因為這是反對聲稱偏見損害面部識別技術有效性的又一步。” “關於面部識別軟件無法公平的論點是及時凍結的,而Corsight的最新提交的表現表明了這一點。”
文章主題
準確性|人工智慧|生物特徵偏置|生物識別技術|生物識別研究|Corsight|人口公平|面對生物識別技術|面部識別供應商測試(FRVT)|面部識別|馬里蘭州測試設施(MDTF)|nist