通常，在討論使用生成式人工智能工具創建的深度偽造品帶來的風險時，警告是關於你可能如何被假老闆或政客欺騙的。但可以說，一個更大、更險惡的威脅是身份盜竊——也就是說，當深度造假者是你時會發生什麼。雖然詐騙電話可能會清空銀行賬戶，在色情、暴力或侮辱性內容中使用某人的肖像可能會留下更深的心理創傷——尤其是對女性而言。
一個新的文章艾達·洛夫萊斯研究所 (Ada Lovelace Institute) 的研究從文化和社會的角度看待深度造假，而不僅僅是將其視為經濟威脅。
“2024 年 7 月，西班牙青少年因製作同學的深度偽造裸照而被緩刑，”朱莉婭·斯馬克曼 (Julia Smakman) 寫道。 “據報導，所描繪的女孩患有焦慮症，不敢站出來，擔心自己會因這些圖像而受到指責。在韓國，十幾歲的女孩成為明確的目標並描述了類似的痛苦。 ”
問題已經很嚴重了，而且還會變得更糟。斯馬克曼引用了以下概念：恐怖谷，注意到當今一代深度贗品的局限性和贈品。 “到目前為止，這些技術障礙提供了一層薄薄的保護，防止完全的數字冒充。”
與恐怖谷線索一樣，如果當前的深度假貨是我們的極地快車——利用技術創建真實化身的早期嘗試——新技術將使深度假貨能夠與當今最好的 CGI 技術相媲美。 “正在變得更加現實，能夠進行更長形式的輸出並改進物理性能，”Smakman 指出。“2024 年 12 月，谷歌搶先展示了其新模型我懂了以展示它在短視頻上的表現如何。該演示讓我們看到了在不久的將來，普通人幾乎不可能區分真實視頻和人造視頻。 ”
“難道你不應該控制自己在世界面前的形象嗎？”
考慮到互聯網有多少，只需很少的想像力就可以看出，在視頻中將一個人的臉偷走並令人信服地放在另一個身體上會給年輕女性帶來災難性的後果。 2019年報告據估計，96% 的在線深度偽造品都是色情內容，其中 99% 涉及不同意使用自己肖像的女性。
斯馬克曼寫道：“隨著先進的人工智能視頻生成，深度偽造色情內容的危害將從靜態圖像演變成從未發生過的親密時刻的難以區分的視頻‘證據’，從而造成持久的心理創傷和聲譽損害。” “如果以史為鑑，這將對婦女和女孩造成不成比例的傷害。”
考慮如何使用未經同意的圖像進行勒索。或者深度假貨如何加速“復仇色情”和兒童性虐待材料的發展。不良行為者的行動速度通常比那些建立防禦和製定法規的人快得多。這導致了斯馬克曼所說的“當前保障措施完全不足”。
讀者生物識別更新會知道目前正在付出多少努力來應對。但斯馬克曼指出，迄今為止的解決方案做得相當薄弱，尤其是在控制自己模型的使用方式方面。 “儘管微軟等科技巨頭擁有豐富的資源和對安全的公開承諾，但仍未能阻止通過他們自己的模型。 ”
與此同時，她表示，“現有的法律和政策工具不足以保護人們的尊嚴免受傷害。雖然世界各國政府已經開始關注深度造假，但他們仍然缺乏、有效控制它們的權利和機制。 ”
斯馬克曼表示，要針對武器化建立足夠的防禦措施危害技術意味著在兩個關鍵問題上迅速採取行動。首先，開發人員應該限制其係統的可用性，“僅在特定條件下向經批准的企業提供適當的使用，例如負責任的人工智能許可實踐。”
“一般來說，科技公司應該限制模型的發布及其生成人物視頻的能力，直到監管機構和外部審計機構建立了防止濫用的保障措施並驗證其充分性。”
其次，“政策制定者應該向科技公司施壓，要求它們只有在這些保障措施到位並被證明可靠有效後才發布模型。”
所提出的解決方案並沒有激發人們很大的信心。事實已經一次又一次地表明，當行業自行監管時會發生什麼，矽谷的人對規模的胃口特別貪婪。斯馬克曼承認她的答案並不完美。 “但它們是讓科技行業承擔責任並減輕人工智能視頻生成帶來的巨大風險的步驟。”
研究人員發現網上大量未受保護的深度偽造“裸體”圖像
對於那些認為風險被誇大的人：vpnMentor 報告了一項調查網絡安全研究員 Jeremiah Fowler 攻破了一個不受密碼保護的數據庫，其中包含屬於 AI-NOMIS GenNomis 的 93,485 張圖像和 .Json 文件。 AI-NOMIS 是“一家位於韓國的人工智能公司，提供換臉和‘裸體’成人內容以及可以買賣圖像的市場。”
文章稱 47.8 GB 數據庫沒有密碼保護或，其中包括“許多色情圖片，包括人工智能生成的對非常年輕人的令人不安的描繪”和“名人小時候的圖片，包括愛莉安娜·格蘭德、卡戴珊家族、碧昂斯、米歇爾·奧巴馬、克里斯汀·斯圖爾特等人。”幾乎所有圖像都是露骨的並且描繪了成人內容。
GenNomis 是一個很好的例子，它的開發人員在被問及時不太可能表現出禮貌的克制。該平台支持文本到圖像提示，以創建不受限制的圖像、人工智能角色、等等。它支持超過 45 種不同的藝術風格，包括現實、動漫、卡通、復古和賽博朋克，“允許用戶根據特定的審美偏好定制他們的圖像創作。”
福勒表示，雖然他沒有看到任何個人識別信息 (PII) 或用戶數據，但“這敲響了警鐘，提醒我們這項技術可能會被用戶濫用，以及開發人員必須採取更多措施來保護自己和他人。”開啟了關於整個無限製圖像生成行業的更廣泛的對話。 ”
追究肇事者的責任將提供指導方針：福勒
這不僅僅是 GenNomis 提供的產品根據文本提示創建色情圖像。有很多網站提供“裸體”服務，生成露骨色情場景中的人物圖像。福勒表示，“任何在未經個人知情和同意的情況下使用人工智能來交換圖像或身體的服務都會帶來嚴重的隱私、道德和法律風險。這些圖像可能非常逼真，未經個人同意就以這種方式描繪個人可能會感到羞辱。”
福勒稱其為“狂野西部”，這是一場高風險的遊戲，其中的籌碼是人類的聲譽，有時甚至是生命。他指出，有許多個人和年輕人因性勒索企圖而自殺的案例。
迫切需要更強的檢測機制和嚴格的驗證要求。福勒寫道：“在一個完美的世界中，人工智能提供商應該有嚴格的護欄和保護措施，以防止濫用。”他再次押注於微弱的希望，即開發“裸體”應用程序的人擔心濫用，而不是指望濫用。 “識別肇事者並讓他們對自己創建的內容負責應該變得更加容易，從而使服務提供商能夠快速刪除有害內容。”
法律正在不斷變化，儘管速度還不夠快。美國“把它拿下來法案”該法案旨在將傳播未經同意的親密圖像定為犯罪，該法案已在參議院獲得通過，正在等待眾議院採取行動。 “2024年10月，韓國一家法院對深度造假性犯罪的肇事者判處十年監禁。2025年3月，美國一名教師因使用人工智能為學生製作虛假色情視頻而被捕。”福勒認為，該行業正傾向於更有效地執行可能已經存在的指導方針，但這些指導方針只是為了裝飾。
“GenNomis 嚴格禁止露骨的兒童圖像和任何其他非法活動——至少在紙面上是這樣。該準則還規定，發布此類內容將導致帳戶立即終止，並可能採取法律行動。”
在這種情況下，GenNomis 似乎是自願溜走的。福勒發出負責任的披露通知幾天后，GenNomis 和 AI-NOMIS 的網站都離線了，數據庫也被刪除。
各國政府意識到深度造假威脅的嚴重程度
新澤西州州長辦公室發布的一份新聞稿宣布簽署A3540/S2544一項法律“對製作和傳播欺騙性音頻或視頻媒體（通常稱為“深度贗品”）的行為製定民事和刑事處罰。”
該法律將“製作或傳播欺騙性音頻或視頻媒體以促進其他犯罪活動”列為三級犯罪，可處以監禁和最高 30,000 美元的罰款。
州長菲爾·墨菲 (Phil Murphy) 表示，“雖然已被證明是一個強大的工具，必須負責任地使用它。我的政府將重點放在打擊錯誤信息和確保媒體誠信上。我們與深度造假圖像的受害者站在一起，並將繼續優先考慮所有新澤西人的安全和福祉。 ”
出席簽約儀式的還有弗朗西斯卡·瑪尼是一名高中生，她的同齡人創建並分享了她的人工智能生成的露骨圖像，這促使她成為人工智能監管的倡導者。參議院、新澤西反性侵犯聯盟（NJCASA）和新澤西理工學院的代表也表達了支持。
本週，密西西比大學首屆研討會上，深度假貨也成為焦點。一份新聞稿稱約旦新聞宣傳與創新中心舉辦了首次活動“應對社交媒體和人工智能對民主的影響”，匯聚了頂尖記者、研究人員和商界領袖，討論審查制度、媒體素養、道德以及人工智能與美國法律的交叉點。
新聞與新媒體學院院長安德里亞·希克森表示，雖然這次活動聚集了持不同政治觀點的人們，但“我們都同意謊言是不好的。”
文章主題
|||||||
