在最近的評估中trueface通過使用一個名為公平臉,標有種族,性別和年齡段,寫信中等帖子中,TrueFace的計算機視覺軟件開發人員Cyrus Behrozi。
該樣本包括每個種族和性別群體中幾乎相等的信息,以確保所有人都充分代表。 TrueFace將圖像比較以估計每個圖像對的相似性得分。
“由於數據集中的所有圖像都屬於不同的身份,因此比較被視為冒名頂替者匹配,並且相似性分數的分佈應大約為0,” Behroozi解釋說。 “然後,我們計算出不同的相似性得分閾值的假陽性率從0到1,以在每個種族和性別群體之間進行比較。”
當團隊在針對閾值的不同種族上測試模型時,對白人的表現最佳,而表現最差的是東亞人的表現最差,證實存在一些偏見,但“表現最少”。
根據Behroozi的說法,在公正的面部識別模型中,假陽性速率應很小。評估表明,模型TrueFace在女性方面的表現比男性表現更好,但是差異和偏見可以忽略不計。無偏見的面部識別模型可以輕鬆地在任何地理位置中部署,而無需對其進行重新訓練或饋送新數據,無論種族和性別如何,它都會帶來互補的結果。該公司表示,例如,它可以在美國,日本,巴基斯坦,白俄羅斯和英國的辦公室以及不同社區或城市的雜貨連鎖店中使用。有關評估的詳細信息,請參見中等的。
當在面部識別算法中檢測到偏差時,這表明結果可能並非所有人口統計學都準確。根據NIST面部識別供應商測試結果,許多算法對女性和皮膚深色的人表現出很高的假陽性率。
TrueFace的軟件最近是在199個算法中排名第七根據最新的面部識別供應商測試(FRVT),美國國家標準技術研究所(NIST)的結果,在真正的模板比較時間中。