關於 Deepfake 檢測您需要了解的一切

正在快速前進。我們的法律和社會實踐沒有跟上。從監管機構到藝術家，不同的利害關係人提出了廣泛的擔憂。公眾意識還比較低，需要加強教育。所使用的術語效率低且過時。我們在識別虛假媒體和運用批判性思維方面的集體弱點可能會給受害者帶來改變生活的後果。同時，對選舉結果的潛在威脅似乎被誇大了——但由於虛假內容能夠透過社群網路快速傳播，它可能會侵蝕整體社會信任結構，並使真相陷入不確定的混亂之中。

我們能做什麼？在最近的一次深偽工作坊由歐洲生物辨識協會 (EAB) 主辦，一群專家就如何將立法、監管、教育和技術結合起來，以有效防範新興的深度造假威脅進行了探討。最重要的問題是極為嚴重的：歸根究底，現實對我們來說有什麼價值？

週期性「老鼠賽跑」中的 Deepfake 生成與偵測：Peter Eisert

對於洪堡大學視覺與成像技術負責人兼視覺計算系主任 Peter Eisert 來說，深度偽造品的生成和檢測陷入了一種重複循環。易於訪問的 Deepfake 工具的激增導致了不斷的改進。艾塞特使用倉鼠輪子的圖像來象徵開發人工智慧的持續努力，該人工智慧能夠有效地檢測越來越多的這些。

「我們已經看到深度偽造的品質有了巨大的提高，」艾塞特說。在詐欺人工智慧和防禦性人工智慧之間的激烈競爭中，偵測策略必須與攻擊模式同步發展。

艾塞特概述了當前各種類型的深度贗品。把某人的臉貼在別人的身上。面部重現可以操縱面部表情或姿勢。可以使用 GAN 或擴散模型創建完全合成的深度贗品。方法不斷發展：艾塞特指出「高斯潑濺」——一種可以產生高解析度臉部深度偽造品的新技術。每個新的迭代都會展示出現在不同地點和不同環境中的不同類型的文物。

如果深度換臉偵測要與時俱進，它就必須及時發展。目前許多深度偽造檢測器都是基於逐幀的。但艾塞特表示，他們應該將時間效應和「隨著時間的推移的不一致」——內容中的語義和時間信息，例如心率或面部血液的時間流動——作為潛在的指標。

一個也很重要。如果資料集包含太多易於發現的偽影，那麼人工智慧模型將很容易跳過這些偽影，並且無法很好地概括。 “我們需要高品質的深度偽造數據來訓練強大的探測器，”艾塞特說，“讓新的攻擊者更難找到你的潛在空間中未被探測器覆蓋的漏洞。”

AltFreezing 或 Real Forensics 等訓練策略為解決如何訓練偵測器專注於時間特徵的問題提供了不同的方法。還有更多可能性：面部表情參數和頭像指紋識別（NVIDIA 開發的一種用戶 ID 技術），該技術使用面部動態來識別。

Eisert 的主要結論是，時間一致性尚未充分用於檢測，並且需要具有各種資料的高品質資料集進行訓練。

「人眼偵測深度贗品並不容易」：安-凱瑟琳‧弗萊伯格 (Ann-Kathrin Freiberg)

BioID 的 Ann-Kathrin Freiberg 最近在 EAB 午餐會上發表了有關 Deepfakes 的演講，她為研討會帶來了行業視角。她強調了先前演講中的許多相同點：深度偽造品被用於犯罪活動，例如網路釣魚、執行長視訊通話詐騙、浪漫詐騙，以及大多數情況下，超過 90% 的 Deepfake 內容都與之相關。

Deepfake 技術也是對民主的威脅。導致選舉幹擾的 Deepfake 假訊息活動可能會迅速傳播，內容會在數小時內傳播並獲得數千次瀏覽。弗萊伯格說，即使影片被篡改，“很多人也已經看過了。”

不幸的是，人們天生就沒有能力去檢測;人眼的表現仍然相當差，而且隨著製造深度贗品的技術的進步，它只會變得更加困難。此外，有些人似乎並不介意某些公眾人物是否真實。 Freiberg 提到了Instagram 上的紅人艾塔娜·洛佩茲(Aitana Lopez)，她是一位深度偽造模特（或“虛擬靈魂”），擁有329,000 名粉絲，每月為創造她的西班牙經紀公司帶來數千歐元的收入。「人們並不真正關心她是人工智慧生成的，」弗萊伯格說。

為了遏制身份盜竊和聲譽損害等個人威脅，以及乾預選舉等社會威脅，深度造假檢測方法必須保持最新。這是深度造假競技場中人工智慧與人工智慧的較量，但這場比賽不僅僅是角斗式的——而且不能僅僅透過演算法來獲勝。弗萊伯格認為，有效的關鍵是是一種整體方法，將媒體素養（對我們共享內容和方式的認識）與歐盟人工智慧法案等法規以及水印和相機源分析等技術支援解決方案相結合。

「圓圈正在這裡閉合」：Mateusz Labuz

檢測深度贗品意味著首先要對其進行定義。開姆尼茨理工大學的 Mateusz Łabuz 如此說。 Labuz 對 Deepfake 的技術、類型、效果和主觀方面進行了區分。所有這些都納入了對抗它們所需的整體方法。

Labuz 的演講不再是“技術固著”，而是涵蓋了整個產業。他說，技術需要正確的框架。這意味著不僅要了解問題的規模，還要了解問題的本質。

例如，以下問題這是一個女性安全問題，因為 99% 的 Deepfake 色情內容都是女性的。深度假貨受害者的女性會遭受長期的身心後果。

將這一點與 98% 的 Deepfake 影片與色情相關的事實聯繫起來，而 Deepfake 是專門針對女性的主要威脅。

另一方面，深度造假仍有多種用途和適當的應對措施。即使深度造假攻擊的干擾極小，其影響也可能在整個安全生態系中產生迴響，從助長破壞對媒體和資訊的信任。

拉布茲表示，法規往往缺乏足夠的措施來保護使用者。他還討論了水印、生物特徵哈希和其他可用於驗證媒體身份的技術等保護措施。對策必須超越法律層面，投資、人力工具和資本都是必要的。技術必須與意識相匹配，、彈性和抑制放大的方法。有效的執行必須是可證明的。

拉布茲說「這個圈子正在這裡閉合」。社會必須加速行動以確保始終明確披露，調整法律體係以反映新的威脅和需求（例如幫助深假色情的受害者），並普遍增強社會復原力和公眾意識。「深度造假的受害者真的知道在這種情況下他們能做什麼嗎？我發現在關鍵時刻如何反應方面存在巨大的弱點。

最後，拉布茲將他的整體方法建立在三個支柱上，這驗證了艾塞特和弗賴伯格的許多陳述。監管和法律措施、技術和檢測系統以及增強的社會復原力是擺脫深度造假困境的出路。尋找解決方案需要對話、靈活性和廣度。

「這並不是為了阻礙創新，」他說。 “這是為了恢復我們社會對技術的基本信任。”

「設計、檢測然後解釋」：Gian Luca Marcialis

吉安·盧卡·馬西亞利斯 (Gian Luca Marcialis)SAIfer Lab 的生物辨識單元。該實驗室正在研究被動Deepfake 檢測方法以及Deepfake 檢測分類法，該分類法對多種檢測方法進行了分類：通用網路/無向檢測、基於視覺偽影、基於時間一致性、生物訊號和相機/GAN指紋。（換句話說，額外的手指、眨眼困難、心率和數位噪音。）深度學習和卷積神經網路是放大檢測的另一種選擇。

Marcialis 的 sAIfer 實驗室正在致力於繪製支援 Deepfake 檢測方法的技術流程。它反映了更大的社區不僅努力檢測深度贗品，而且還努力定義和區分它們是什麼。

「你無法看到或觸摸音訊的虛假性」：珍妮佛威廉斯

「過去，語音和音訊處理需要電機工程博士學位。現在，任何人都可以創造這些深度贗品。南安普敦大學助理教授珍妮佛威廉斯（Jennifer Williams）從聽覺角度分析了深度造假事件的崩潰，她如是說道。利用人類聽覺的偏見，讓聲音「欺騙我們」。語音是代表唯一身分的生物辨識資料。如果它受到損害，後果可能包括財務欺詐到完全喪失相信所聽到的內容的能力。

“對於某些人來說，”威廉姆斯說，“這確實是現實本身的問題。”

語音合成技術進展很快。 2016 年，名為 Merlin 的尖端神經 SPSS 聽起來仍然像一個刻板的機器人。現在我們有以及代表國家政府發表聲明的虛擬公共事務官員。積極的用例推動了語音技術的巨大變革，而語音技術不可避免地被用於犯罪目的。

威利姆斯表示，音訊深度偽造攻擊有多種形式：

錄音和重播攻擊是指“說話的人實際上是正確的人，但語音已被捕獲並重放，因此這些單字可能會斷章取義。”它可以透過簡單的人聲源錄音來實現。錄音可以拼接成真實或真實的其他片段改變上下文。（想一想，如果詐欺者只擁有你說「是」的錄音，可能會導致什麼結果。）

語音轉換“需要來源說話者準確地說出正確的單字。”然後，它可以將來源說話者的聲音轉換為任意數量的目標說話者的聲音。演講的內容保持不變，但聲音改變了。

透過說話人嵌入「將他們以前從未說過的話放入某人的嘴裡」。這需要複雜的機器學習和大量的訓練數據，並允許控制音高、韻律和情緒音色等。

部分深度偽造是指進行小而簡單的編輯來混合真實和虛假媒體。這結合了多種類型的編輯和機器學習功能。

文物用於在較高頻率下最容易被偵測到，通常超出人類聽覺範圍。它們可能以聽不見的爆裂聲、零星相位不匹配產生的嗡嗡聲以及報報或呼吸節奏的問題出現。它們的時間分佈不一致。

從法律上講，司法系統存在社會技術挑戰，並且對用於討論音頻深度偽造的許多術語存在分歧——例如“合成”和“真實”等術語。不斷變化的技術格局並沒有註意到監管機構的緩慢調整。

威廉斯和她在南安普敦大學的團隊建立了一個名為「深度造假」檢測的系統安全可靠（南安普敦音訊取證評估器），只需一秒鐘的音訊即可提供高度準確且可解釋的模型決策。它結合了人類感知模型、聲道模型、情緒語音模型、噪音魯棒性、聲學環境和高頻異常檢測器。在設計方面，它的目標是快速、易於使用、可擴展以容納大量數據，並且適用於各種用例。