面部識別供應商測試是由美國資助的持續計劃。它判斷了全國私人和公共實體可用的許多面部生物識別算法。它是自願的，對任何地方的任何人都開放。
自1994年以來，該測試計劃已發展，以測試眾多（但仍集中）的角度，以此為主題：面罩效果，，，，人群（包括種族和性別）效果和面對變形， 例如。政府還發布了先前的測試FRVT 2000。
目的是讓每個人都了解什麼構成盡可能硬數據中的高質量算法。算法被命名和排名，如上所述的各種因素和效果。世界上沒有像這樣的程序。
什麼是NIST？
國家標準與技術研究所創建並運行它。nist是一個非監管政府機構和物理科學實驗室。
它的任務是通過為企業提供世界一流的測量基礎設施，以創造經濟安全並改善美國人的生活質量來促進美國的工業創新和競爭力。
NIST是聯邦政府更受人尊敬的機構之一，是商務部的一部分。 FRVT計劃由NIST運行並避免成為政府龐大的努力的事實，即使有一些排名最低的算法的作家，也使該計劃的信譽也使該計劃的信譽。
NIST成立於1901年，總部位於馬里蘭州，測試了商業技術，但它也有助於創建一個常見的定義，測量，參考和標準的平台。它的FRVT方法很嚴格。
操作見解
為了持續FRVT 1：1驗證評估，大量面部圖像用於測量商業和學術面部識別算法的性能。可以插入部分隱藏的面孔，以創建戴著口罩的受試者的外觀。
在幾個數據集上以錯誤的非匹配率測量了最高表現1：1算法。該速率是低於閾值的配位比較的比例，以達到指定的均勻錯誤匹配率。錯誤的匹配率是在該閾值或以上的冒名頂替比較的比例。
自2017年第814號以來提交的驗證算法，僅去年才看到200多個提交。獨特的開發人員的數量為296，新提交的峰值在去年達到156。
這FRVT 1：n識別可以追溯到2018年的總提交的總數為369算法，第一年提交了209個算法。獨特的開發人員為105，每年顯示出相對穩定的數字。
FRVT項目看人口影響使用美國政府申請收集的四個照片數據集的算法：警察預訂照片或照片；全球申請移民福利；簽證照片和進入美國的人們的橫斷照片。
NIST使用此數據來處理850萬人通過189個開發人員創建的189人的1,830萬張圖像。每個圖像伴隨著不同的元數據。例如，在某些情況下，出生國被認為是種族的“合理代理”。
著名的是，該項目發現西非和東亞國家的人們的誤報和率最高。在處理東歐人民時，他們是最低的。發現女性與雄性的較小但固執的假陽性差差。
FRVT限制
這是一個沒有預算超出預算的限制的程序。它評估了AI算法，因此，它幾乎沒有改善產品的壓力。當然，員工和經理在如何判斷面部識別軟件的關鍵方面方面反复證明了靈活性。
FRVT的可交付成果歸結為牧羊開發人員，以準確，公正和標準化的代碼。它還報告了績效和問題，它在各個提交中遇到的問題以及作為一個小組的提交中。
FRVT中不包含分析3D圖像數據的算法，無論是通過深度感應（例如Apple的臉部ID）還是視頻（例如Facetec）。
一些觀察者還認為這些測試是實驗室中生物識別算法的更好表示，而不是不完善的現實世界數據收集方案。
領導者
帕特里克·格羅斯（Patrick Grother）NIST科學家，領導該機構的生物識別標準工作和測試。具體來說，他在視頻評估程序中管理FRVT和相關面孔。 Grother聯合主席NIST的國際面部績效會議大會關於測量，指標和認證。
他還為政府的個人ID驗證證書計劃編輯了生物識別規格。
