一對來自IDIAP研究所已經開發了用於評估生物識別系統公平性的度量，或者缺乏根據性別和膚色與人相匹配的不同結果。
IDIAP的Tiago de Freitas Pereira和SébastienMarcel撰寫的有關“生物識別公平：評估生物識別驗證系統的功績”的論文描述了參考數據庫的使用，這些數據庫的使用旨在代表機器學習開發管道的基準測試階段的操作條件。
但是，這些基準測試過程中顯示的準確性通常在人口組之間有所不同，這引起了公平關注的問題。
研究人員討論了可以考慮將生物識別系統公平的因素，並提出使用公平差異（FDR）作為衡量準確性差異的方法。 11頁的論文還包括使用面部識別的FDR案例研究。
報告作者寫道：“生物識別技術社區中的大多數作品通過分別比較不同人口組的DET曲線和/或ROC曲線來評估驗證系統中的公平性。” “這種類型的比較假設決策閾值是人口特異性的，在操作條件下這是不可行的，並且不可行。FDR通過評估人口統計學差異來解決這個人口統計學差異，假設人口統計學差異。”
源代碼，訓練有素的模型和分數也可以公開使用，以使其其他人復制工作。
本文的大部分內容詳細介紹了確定FDR的公式，並達到了一個指標，他們說公平性的“ fdr下的面積”越接近1。在一個例子中，他們稱為0.999的發現為“公平”，而0.777“不公平。”之一。
毫不奇怪，在針對三個公共數據集的幾個系統測試中，發現了一些重大的失衡。
處理相關的偏見和公平問題生物識別算法和數據集即使是政策制定者，整個行業仍在繼續嘗試解決問題。
