倫敦帝國學院的研究人員有發達Arc2face,一種高級計算機模型,生成人臉的逼真圖像。將其與眾不同的是它依賴身份嵌入,這使該模型能夠在保持身份一致性的同時生成各種面部圖像。但是,該模型的當前版本只能根據提供的ID嵌入一次一次創建一個人的圖像。
所提出的ARC2FACE模型構建在穩定的擴散文本引導的擴散模型上。它以從預先訓練的弧形網絡,不依賴文本嵌入。
作者證明了該計算機模型的功效,他們使用其模型生成的合成圖像訓練了面部識別模型。最終的性能超過了當前合成數據集的性能。
儘管諸如StyleGan之類的生成模型能夠生產面部圖像,但在操縱過程中試圖保持一致的身份時,它們通常會受到影響。同樣,文本引導的擴散模型從2開始試圖將身份與文本描述分開時會遇到問題。
研究人員解釋說:“我們精心研究了以ID限制為條件的高分辨率面部圖像合成問題的問題,並提出了一個大規模的基礎模型。由於有限的高質量面部圖像數據庫的可用性,開發此類模型構成了重大挑戰。”
研究表明,僅依靠單位圖數據集(例如FFHQ)不足以創建可靠的計算機模型。為了解決這個問題,ARC2FACE模型背後的團隊利用了綜合的WebFace42M數據庫,該數據庫具有大量的內部可變性,作為其工作的基礎。
然而,儘管大規模數據集有好處,但科學家指出,當前的限制仍然限制在緊密地裁剪的面部區域進行面部識別訓練。因此,有必要結合更廣泛的不同和不受限制的面部圖像,以增強模型生成完整面部圖像的能力。
研究人員說:“我們進行了廣泛的定量比較,以評估最新的ID條件模型的性能,以產生主題的多樣化和忠實的圖像。”
在論文中,作者探索了模型生產的使用合成圖像這可以幫助訓練面部識別模型。通過從座嵌入座的分佈中對身份向量進行採樣,並確保合成身份之間的多樣性,它們建立了一個數據集,該數據集是訓練面部識別模型的資源。
為了確保具有獨特外觀的各種受試者,根據相似性閾值選擇合成身份。然後將對這些合成圖像訓練的面部識別模型的有效性與在現實數據集和通過各種方法生成的其他合成數據集進行訓練的模型進行了比較。
根據分析,使用Arc2face生成的合成數據訓練的生物識別模型在幾種評估基準中表明了高性能。與其他合成數據集(如Synface,Digiface和DC-FACE)相比,接受Arc2face生成的合成數據訓練的FR模型顯示出較高的結果。
研究人員總結說:“我們的實驗證明了其忠實地再現任何個人面部ID的能力,與任何現有方法相比,同時保留了產出的多樣性,從而產生具有更大程度的相似性的高度現實圖像。”