加州安全與技術研究所 (IST) 的一份新報告警告稱，“令人信服的 Deepfake 技術的興起和發展對依賴視覺或聽覺提示進行驗證的傳統身份驗證系統構成了嚴重威脅”
報告稱，人工智慧對網路安全的影響，說“使用面部識別或語音分析的生物識別系統已經在一些情況下受到深度偽造技術的損害。”
然而，該報告可能沒有對使用臉部生物辨識技術和人工智慧欺騙的身份驗證系統的破壞做出足夠明確的區分。人臉生物辨識技術的破壞可能會導致使用人工智慧的欺騙攻擊，但活性或呈現攻擊偵測已被廣泛部署，以防禦此類攻擊。
活體檢測是一種安全方法，可驗證一個人是真實人物還是假人。它是生物特徵認證系統的關鍵部分，用於防止詐欺者使用被盜或複製的生物特徵資料存取系統。
活體檢測使用演算法來分析從生物識別感測器（例如臉部或指紋）收集的數據，以確定來源是否為活體。詐欺者更難透過活體檢測繞過安全性，因為它使用即時互動來驗證使用者的身份。大多數現代生物辨識系統都包括活體偵測機制，可以區分真人與假人，例如即時檢查運動或分析微妙的臉部線索。
另一方面，人工智慧欺騙使用先進的演算法來創建逼真的深度偽造品，其中向安全系統提供虛假的生物識別資訊。
資訊系統審計與控制協會 (ISACA) 在 7 月的報告中表示白皮書人工智慧欺騙「不僅限於創建錯誤匹配，還可以擴展到創建足以令人信服的生物識別數據，以通過更高級別的安全審查。例如，研究人員已經展示瞭如何使用模仿面部表情、衰老和以前可靠的身份標記的其他微妙特徵的深度偽造圖像來欺騙面部識別系統。
人工智慧的興起無疑地極大地改進了針對身份驗證系統的欺騙技術，使攻擊者更容易創建真實的生物識別標識符，從而使大規模攻擊更有可能……也更加危險。然而，對這些攻擊造成的威脅的任何評估都應該考慮它們對通常部署的活動偵測的有效性。
IST 報告稱，“使用面部識別或語音分析的生物識別系統已經在多個案例中受到 Deepfake 技術的破壞”，並提到了 2 月份的一份報告。違規報告按 IB 組，對峙：Group-IB 發現首個竊取臉部辨識資料的 iOS 木馬。
然而，Group-IB 的報告並沒有描述使用人工智慧進行欺騙的身份驗證系統，而是使用面部識別數據進行了破壞，這些數據是使用「專門針對iOS 用戶的移動木馬」竊取的，Group-IB 稱之為GoldPickaxe.iOS 。
Group-IB 解釋說，“GoldPickaxe 系列包括 iOS 和 Android 版本，基於 GoldDigger Android 木馬，並定期更新，旨在增強其功能並逃避檢測”，並且“能夠收集面部識別數據、身份信息”文件和攔截短信。它的 Android 兄弟具有相同的功能，但也表現出 Android 木馬的其他典型功能。為了利用被盜的生物辨識數據，威脅行為者利用人工智慧驅動的換臉服務來創建深度偽造品。這些數據與身份證件以及攔截短信的能力相結合，使網路犯罪分子能夠未經授權訪問受害者的銀行帳戶——這是Group-IB 研究人員在其他欺詐計劃中從未見過的一種新型貨幣盜竊技術。
Group-IB 說「這個方法可以被網路犯罪分子用來未經授權存取受害者的銀行帳戶。
人工智慧欺騙生物辨識認證系統是可能的，因為先進的人工智慧演算法可以產生高度真實的虛假生物識別數據，如指紋、臉部圖像或語音樣本，有可能欺騙生物辨識掃描儀並允許未經授權的系統訪問；然而，大多數現代生物辨識系統都採用了反欺騙機制來檢測此類嘗試，這使得成功進行欺騙變得越來越困難，但並非不可能。
雖然使用指紋識別、虹膜掃描和語音識別（最廣泛使用的生物識別方法）對身份驗證系統進行人工智慧欺騙是可能的，但靜脈模式識別和心率感測器等較新的生物識別技術可能被證明不太可能被偽造，並且可能需要能夠即時準確預測人的靜脈結構和心率的人工智慧功能。
大約四年前，有報導稱人工智慧被用來使人們看起來「活」的高解析度圖像，然後被用來欺騙中國的身份驗證系統來偽造稅務發票。然而，對涉嫌駭客攻擊的報導是基於《新華每日電訊。
目前，很難確定有多少人工智慧生成的生物識別標識符實際上已成功用於欺騙支持生物識別的身份驗證系統。
IST 報告本身表示，“在撰寫本文時，人工智慧尚未釋放新的功能或結果，但代表了速度、規模和完整性方面的重大飛躍。”
IST 報告探討了人工智慧在網路安全領域的機會和挑戰，並透過對行業專家的調查和採訪，深入了解組織如何使用人工智慧、人工智慧如何影響威脅情勢以及如何實現人工智慧的優勢。
該報告指出，人工智慧可以幫助組織更快地回應違規行為，提高網路分析師的準確性和效率，並簡化任務，但它也可能被惡意行為者用來產生虛假電子郵件或網站，或複製和客製化網站以達到目的。人工智慧系統也可能受到對抗性攻擊的影響，攻擊者操縱資料或輸入來迷惑系統。
報告指出，由於人工智慧依賴大量數據，而這些數據往往是個人且敏感的，因此人們有理由擔心個人可能會在不知不覺中向人工智慧系統洩露個人資訊，從而導致人工智慧系統被利用和濫用，就像這次事件一樣。
報告稱，在網路安全領域的人工智慧軍備競賽中保持領先地位需要持續投資、創新和整合。
近幾個月來，IST「對行業現任者、新創公司、諮詢公司和威脅研究人員進行了一系列有針對性的調查和採訪，以獲取有關組織和從業者目前如何參與或整合人工智慧技術的最新見解，以及這些工具對人工智慧技術不斷變化的影響。
據IST 稱，其研究利用了幾個實例「全面描繪了當前的發展狀況——消除了變幻莫測的情況和產品營銷炒作，為我們提供了對不久的將來的展望，最重要的是，提出了樂觀的方法得以實現。
IST 報告指出：「社會工程本來就對網路安全構成了複雜的挑戰，隨著人工智慧欺騙的激增，社會工程變得更加艱鉅。」報告指出，「不良行為者已經在網路釣魚計畫中冒充高階主管，為欺騙創造虛假身份” ，以及在法律和金融欺詐以及其他危險用例中偽造證據。”
報告稱，「毫不奇怪，惡意深度造假」正在增加。
報告稱，「繼發布HarrisX 的一項調查顯示，OpenAI 的Sora 採用文字轉視訊模型，向1,000 名美國受訪者展示了八個AI 生成的影片和使用傳統工具創建的影片的組合，以測試他們識別AI 生成內容的能力。調查結果顯示，“大多數美國成年人錯誤地猜測了他們所看到的八個影片中的五個是人工智慧還是人們製作的。”
IST 報告稱，依賴「你知道的東西」（例如密碼、短語、PIN 碼或安全問題答案）的身份驗證很容易受到人工智慧的影響。 「由於人工智慧能夠從大型資料集中總結和回憶訊息，包括公共社交媒體、公共記錄和匯總的資料外洩記錄，因此暴力破解你所知道的東西現在變得更加不可靠。使用者應該假設他們的安全問題的答案（通常用於密碼重設和帳戶恢復）可以被不良行為者使用人工智慧功能知道。現在，生成式人工智慧已被證明可以欺騙一些生物特徵認證方法，從而使“你是誰”的可靠性也面臨風險。
IST 報告總結道：「近期，網路安全方面的人工智慧優勢將屬於防禦方。」並補充道，「主場優勢——包括存取專有軟體原始碼、對網路架構和典型用戶模式的全面理解，以及一個由服務提供者組成的生態系統正在快速利用人工智慧的潛力，這對於對手來說將是難以克服的。
然而，該報告預先警告說，“複雜的威脅行為者也在利用人工智慧來增強他們的能力，因此對人工智慧支援的網路防禦的持續投資和創新至關重要。”
該報告提出了七項建議，包括透過實施「強大的網路安全實踐，包括資料加密、最小權限存取和多因素身份驗證」來保護敏感資料免受人工智慧支援的惡意內容分析。
