由Applied AI副總裁Olivier Koch撰寫，onfido
如今，數億人使用諸如Chatgpt之類的工具來集思廣益，或Midjourney來創建新的視覺效果。人工智能（AI）工具已成為我們日常生活的一部分，並正在推動新數字時代的到來。現在，我們更有效地工作，可以更好地應對專業或創造性的挑戰，並加速新的創新。
但是，與支持我們的日常任務相比，AI的內在價值要多得多。無論是促進貸款協議，還是為高等教育，出行平台或醫療服務提供關鍵的訪問權，它是為我們的關鍵服務和保持社會運行的動力而不可或缺的一部分。傳統上，身份驗證是在線訪問的基礎，是信用檢查和開設銀行帳戶的門戶，但是由於AI，它現在支持從醫療保健到旅行和電子商務的服務。
但是，AI系統可以對最終用戶的偏見。最近，優步吃和Google發現AI的使用如何威脅在線服務的合法性和聲譽。但是，人類也容易遭受偏見。這些可能是系統性的，如面部識別的偏見所示，我們傾向於更好地識別自己的種族成員（OGB或自己的群體偏見） - 現在的現象據記錄。
這就是挑戰所在。在線服務已成為經濟的骨幹十分之一的人說他們會對完全數字服務感到滿意。隨著處理成本較低和執行時間較短，AI是企業在處理越來越多的客戶時的首選解決方案。但是，儘管該解決方案提供了所有優勢，但也必須意識到其偏見很重要。公司有責任執行正確的保障措施，以防止對其聲譽和更廣泛的經濟的持久損害。
偏見預防策略的核心是四個基本支柱 - 識別和衡量偏見，對隱藏變量的認識和倉促結論，設計嚴格的訓練方法，並將解決方案調整到用例中。
支柱1：知道在哪裡找到和測量偏見
與偏見的鬥爭始於建立強大的過程以進行測量。 AI偏見通常很弱，隱藏在廣闊的數據中，並且僅在幾個相關變量分離之後才能觀察到。
因此，對於使用AI建立良好實踐的公司，諸如置信區間的測量，使用適當大小和品種的數據集以及使用合格人員操縱的適當統計工具等良好實踐至關重要。
這些公司還必須努力對這些偏見盡可能透明，例如，通過發布諸如Onfido在2022年發表的“偏見白皮書”之類的公開報告。這些報告應基於真實的生產數據，而不是基於合成或測試數據。
公共基準測試工具，例如NIST FRVT（面部識別供應商測試）也會產生偏見分析，這些分析可以被這些公司利用，以傳達其偏見並減少系統中的偏見。
基於這些觀察結果，公司可以了解客戶旅程中最有可能發生的偏見，並努力找到解決方案 - 通常是通過培訓具有更完整的數據集的算法來產生更公平的結果。此步驟為嚴格的偏見處理奠定了基礎，並增加了算法的價值及其用戶旅程。
支柱2：隱藏變量和倉促結論
AI系統的偏置通常隱藏在多個相關變量中。讓我們以生物識別技術和身份文檔（“面部匹配”）之間面部識別為例。此步驟是用戶身份驗證中的關鍵。
首次分析表明，這種識別的表現對膚色深色的人不如普通人差。在這些條件下，可以得出結論，通過設計，該系統會懲罰皮膚深色皮膚的人。
但是，通過進一步推動分析，我們觀察到，在非洲國家，黑暗皮膚的人比例比世界其他地區高。此外，這些非洲國家平均使用質量較低的身份文件比世界其他地區所觀察到的質量較低。
文檔質量的下降解釋了面部識別的大多數相對較差的表現。確實，如果我們衡量對黑皮膚的人的面部識別表現，將自己限制在使用更高質量文件的歐洲國家，我們會發現偏見實際上消失了。
在統計語言中，我們說變量“文檔質量”和“原產國”在變量“膚色”方面令人困惑。
我們提供了這個例子，不要說服算法沒有偏見（它們是），而是要強調偏見測量很複雜，容易出現倉促但不正確的結論。
因此，進行全面的偏見分析並研究可能影響偏見的所有隱藏變量至關重要。
支柱3：建築嚴格的培訓方法
AI模型的訓練階段提供了減少偏見的最佳機會。實際上，在不訴諸於不強大的臨時方法的情況下，很難補償這種偏見。
用於學習的數據集是使我們能夠影響學習的主要槓桿。通過糾正數據集中的不平衡，我們可以顯著影響模型的行為。
讓我們舉個例子。給定性別的人可能會更頻繁地使用某些在線服務。如果我們在生產數據的統一樣本上訓練模型，則該模型可能會對多數性別的行為更加牢固，這會損害少數性別，這將使模型的行為更加隨機。
我們可以通過平等地對每個性別的數據進行採樣來糾正這一偏見。這可能會導致多數性別的績效相對降低，但會導致少數性別的利益。對於關鍵服務（例如高等教育的應用程序接受服務），數據的平衡非常有意義，並且易於實施。
在線身份驗證通常與關鍵服務相關聯。這種驗證通常涉及生物識別技術，需要設計可靠的訓練方法，以盡可能減少暴露於生物識別技術的變量，即：年齡，性別，種族和原籍國。
最後，與信息專員辦公室（ICO）等監管機構的合作使我們能夠退後一步，並戰略性地思考減少模型中的偏見。 2019年，Onfido與ICO合作減少面部識別軟件中的偏見，這導致Onfido大大降低了其生物識別系統年齡和地理組之間的性能差距。
支柱4：裁縫解決方案
沒有單一的偏見度量。在它的模型公平的詞彙表，Google至少確定了公平性的至少三個不同的定義，每個定義都以其自己的方式有效，但導致了非常不同的模型行為。
例如，如何在“強制”人口統計和機會之間進行選擇，這考慮了每個組特定的變量？
這個問題沒有一個答案。每個用例都需要自己對應用領域的反思。例如，在身份驗證的情況下，Onfido使用“歸一化排斥率”，涉及測量系統對每個組的拒絕率，並將其與整體人群進行比較。大於1的速率對應於該組的過度拒絕，而小於1的速率對應於該組的拒絕不足。
在理想的世界中，對於所有群體，這種歸一化的排斥率將為1。實際上，至少有兩個原因不是這種情況：首先，因為實現此目標所需的數據集不一定可用；其次，由於某些混雜變量不在OnFido的控制範圍內（例如，以上示例中提到的身份文檔的質量是這種情況）。
不要通過追求完美來延遲進展
偏見不能完全消除。在這種情況下，重要的是要衡量偏見，不斷減少這種偏見，並公開溝通系統的局限性。
關於偏見的研究在很大程度上是開放的。該主題有許多出版物。像Google和Meta這樣的大型公司通過發表深入的技術文章，以及可訪問的文章和培訓材料以及致力於分析偏見的數據集為這一知識做出了貢獻。 2023年，梅塔（Meta）出版了會話數據集，，，，專門用於模型中偏差分析的數據集。
不幸的是，偏見是不可避免的。隨著AI開發人員繼續進行創新和應用程序的發展，偏見將永遠出現。但是，這不應阻止組織採用這些新技術，因為它們具有改善數字產品的巨大潛力。
如果公司採取了適當的步驟為了減輕偏見的影響，客戶的數字體驗將繼續改善。客戶將能夠訪問正確的服務，適應新技術，並從他們想與之互動的公司那裡獲得所需的支持。
關於作者
奧利維爾·科赫（Olivier Koch）是Applied AI的副總裁onfido。
