NIST計劃在EAB網絡研討會上推出的進一步生物識別偏見評估

儘管在過去幾年中，所有人口組的面部識別系統的生物識別匹配準確性都取得了重大提高，即使衡量偏見問題的程度仍然是一個挑戰，因為一系列專家告訴聽眾歐洲生物識別協會s（eab）的“生物識別系統”虛擬事件中的人口公平性。

在活動的3月中旬，反恐聯合國辦公室的瑪格麗塔·納塔利（Margherita Natali）談到了生物識別技術在邊境安全管理中的作用，聯合國對生物識別技術使用和共享的建議最佳實踐的彙編，以及對邊境系統的挑戰，包括面部識別，包括面部識別，來自COVID-COVID-119。她強調了一種基於人權的方法，用於在邊境控制中使用生物識別技術。

Aythami Morales提出了一種用於機器學習的方法隱私權表示。他還展示了提高所有群體準確性的可能性，以實施減少偏見的負責人AI實踐。

Vincent Despiegel族裔討論了減輕偏見的方法，包括平衡培訓數據庫，同時也找到正確的損失功能。

帕特里克·格羅斯（Patrick Grother）NIST談到了該組織在人口差異方面的工作，下一份報告估計將於2021年5月發布。

Grother說，將來的NIST FRVT排行榜選項卡中可能包含有關人口績效差異的摘要數據。他以IDEMIA算法的示例將虛假拒絕從2017年的13％降低到2021年的0.4％，他解釋了過去四年來面部識別準確性的巨大提高。

描述了NIST對面部生物識別技術中偏見的研究的起源，Holoth回顧了爭議的開始永久陣容' 和 '性別陰影'研究，以及研究所量化問題的方法。

他說：“我們想做的是在所涉及的指標中提出一些特殊性。” “如果有人斷言面部識別是有偏見的，那是什麼意思？這與誤報，假否定因素或未能註冊有關嗎？是關於一對一的系統嗎？一對多系統？”

Grother告訴活動與會者，理解該測試的常見方法是在特定的，政策確定的錯誤接受率上比較錯誤的非匹配率是錯誤的。而不是固定的虛假匹配率，“我們應該以算法的固定閾值報告。”錯誤的匹配率和錯誤的不匹配率的差異都會發生，但在特定FMR處的統計數據沒有反映。

Grother觀察到，面部生物識別技術的閾值設定程序似乎來自指紋匹配的實踐，但對年齡對面部生物識別技術的影響的NIST研究表明，這種方法的局限性是對人口統計學差異的盲目限制。

最近的人口差異測試表明，人們通常與來自世界各地的其他地區不匹配，但更有可能被誤認為是來自世界同一地區的人。此外，與世界其他地區的人們相比，來自歐洲的人不太可能被算法誤認為來自同一地區的其他人。來自nune顯示歐洲人中有33,000人中有1分之一，但尼日利亞人只有1,000名，而韓國人則為1,000名。其他算法顯示較低的假陽性，表明不同訓練數據的值，但有些顯示出更高的偏差幅度。

FNMR差異較小，但是大大的結論是，所有算法都有人口統計學差異，在這一點上，對於女性，它們的表現始終如一。

Idiap在生物識別公平度量基於FMR和FMNR的最壞情況差異，該領域的發展為“公平差異率”，在0到1之間計算出來，其中1表示人口統計學之間的準確性完美平衡。 NIST開發了一種“不平等度量”，該措施產生了一個比率，但是由於錯誤率的高度不確定性，需要更多數據來為FNMR產生有效的措施，並且需要進一步的工作來報告1：N算法中的偏見。

格羅斯說，有幾位開發人員已經開始努力應對NIST提出報告時所打算的問題，儘管許多開發人員還沒有。

EAB對生物識別技術人口公平的檢查繼續本周繼續，Yevgeniy Sirotin，Jacob Hasselgren和Maryland Test設施的John Howard以及其他國際專家的演講，因此請注意此空間生物識別更新繼續覆蓋。