DeepFake檢測是歐洲生物識別協會面對操縱協會最近調查的主要主題之一。面部變形和合成身份是活動期間討論的其他主要威脅類型。
這EAB組織了為期兩天的虛擬活動,其中包括來自學術機構的講座,IDIAP研究所和Senstime。
這 '數字面部操縱和檢測EAB在組織研討會方面將手冊用作指南。
除了討論社會和道德意義一系列演講提出了識別它們的方法。這些建議顯示了一些有希望的研究路徑,也顯示了一些共同的挑戰和局限性。
Deepfakes威脅審查
研討會始於面部操縱及其對生物識別系統的影響的兩次演講。
Idiap的Pavel Korshunov審查了他們對人和自動化系統構成的威脅。
Korshunov舉例說明了最近的深擊,並審查了從事檢測的科學家可用的深層攝影數據庫。
他調查了人們對人們如何看待深擊的主張,以及從向人們展示“融化的面孔”到非常難以斑點假貨的那些深層攝影視頻。能夠正確識別“非常簡單”類別中深擊的人的百分比接近100%,但即使對於“簡單”類別,超過20%的人都詢問視頻是否是假的,這是錯誤的答案。
對於“非常困難”的類別,將近四分之一的人充滿信心地給出了正確的答案。十分之十的受訪者既有知己,又是錯誤。
真實的視頻主要是這樣的,但不像非常低質量的深擊一樣始終如一。
Korshunov隨後審查了可用的算法,發現培訓數據集比特定模型更重要。對Celeb-DF進行培訓的兩種模型完全無法檢測到DeepFake視頻。接受Google培訓時,相同的模型更為成功,但未能檢測到“非常簡單”類別中的許多深擊。
然後,他繼續介紹瞭如何改善概括(在深層檢測中的一個公認的問題)。在這方面,數據耕作表現出了一些希望,就像“少數訓練”和歸因培訓一樣。
自動化方法
UAM的朱利安·弗里雷斯(Julian Fierrez)根據心率估計提出了深泡檢測。他說,由於對幾種不同應用的研究,近年來,遠程心率的估計已大大提高。
DeepFakeson-Phys模型是通過對受試者外觀和運動的分析結合的調整和重新培訓來開發的。 98.7%的曲線和框架水平準確率下的99.9%面積表明,這種方法甚至超過了最新的最新方法。
當然,如果深層生產技術開始考慮與心率或血流有關的生理數據,則該技術將變得降低。
位的Abhijit Das Pilani提出了3D卷積神經網絡架構和注意檢測機制。
達斯說,大多數最先進的偽造檢測技術的重點是空間信息。考慮到不同的注意機制,DAS的團隊發現,增加“非本地塊”的效率提高了。
DAS說,總體而言,該方法非常有前途,但是在理解和整合注意力機制以及檢測用跨操作技術製造的深層蛋糕方面需要更多的工作。
NII的Huy Nguyen表明了使用膠囊 - 纖維法網絡檢測深擊的可能性。他首先要指出所需的資源的急劇增加,因為CNNS性能通過擴展其深度,寬度,大小甚至使用數量來提高。
在膠囊網絡中,每個膠囊都是CNN,它可以學習特定表示形式,並在膠囊之間達成一致,表明輸入圖像的真實性。
原始設計對於DeepFake檢測無效,但Nguyen和他的研究人員構建了一個膠囊網絡,用於具有動態路由的法醫應用。然後,網絡開始識別視頻中的受操縱區域。
分別具有3和10模塊的“光”和“完整”膠囊模型的測試表明,統計池提高了檢測準確性,同時減少了所使用的參數數量。
雖然概括仍然是一個挑戰,並且很難處理低質量的圖像或解釋結果很困難,但是準確性水平得出的表明,輕質模型仍然可以有效地檢測深擊。
NTU的Liming Jiang發表了關於DeeldererForensics數據集的演講,該數據集由60,000個視頻組成,每五個真實樣本都假。
除了大小外,數據集還具有幾個優點。受試者已有所有同意,控制捕獲,並且所呈現的擾動是混合的,並以較高的數量存在。
江還介紹了他是2020年迪維福;幾項提交表現出了檢測以前看不見的深擊的希望。
普渡大學的愛德華·J·德爾普(Edward J. Delp)提出了多種數據模式進行深泡沫檢測。
他的方法涉及通過多任務級聯的捲積神經網絡進行面部檢測和裁剪,功能提取,然後進行自動面部加權。封閉式複發單元(GRU)通過預測和加權聚合處理提取的特徵。一個與主網絡相同的輔助網絡抬頭看了估計錯誤。
像上面的其他幾種方法一樣,這導致準確性高於90%,並且比相比的方法高得多。
DELP還提出了一種通過使用頻譜圖可視化語音信號隨時間的頻率幅度來檢測合成音頻的建議方法,以使用CNN進行分析。
最後,考慮了視頻中匹配音素(聲音單元)和觀察(唇部運動)的方法,並考慮了視頻的視覺和音頻部分中所示的情感。
概括的問題似乎在社區中最大,特別是考慮到最威脅性的深擊是新穎的可能性。隨著幾支國際研究人員繼續採取多種方法,似乎確實有一些樂觀的餘地,很快就有可能在生產後儘快消除。