Security Intelligence發表的新研究表明，生成的AI可能是在收聽您的電話，並用偽造的生物識別音頻劫持它們，以進行欺詐或操縱目的。在香港欺詐案件之後，一名僱員在虛擬會議上轉會了2500萬美元的資金，並被證明是音頻錄像帶在高級管理層中，生物識別技術和數字身份世界一直處於高度戒備狀態，而當天的威脅越來越複雜。
一個博客文章IBM Security威脅情報首席建築師Chenta Lee撰寫，分解了IBM的研究人員X-Force通過使用LLM來理解對話並為惡意目的操縱，成功攔截和秘密地劫持了現場對話，而不會知道演講者正在發生這種情況。
李寫道：“令人震驚的是，構建這種高度侵入性的能力非常容易，這對攻擊者的使用引起了貨幣激勵措施的攻擊者的使用，而不得不限制合法邊界。”
黑客使用了AI技術的混合，專注於關鍵字
通過結合大型語言模型（LLM），語音到文本，文本到語音和語音克隆策略，X-Force能夠動態地修改實時電話對話的上下文和內容。該方法避免使用生成AI創建一個整個虛假的聲音而是專注於在上下文中替換關鍵字 - 例如，用AI生成的掩護真實的銀行帳號。策略可以通過多種媒介（例如惡意軟件或妥協的VoIP服務）部署。一個三秒鐘的音頻示例足以創建令人信服的語音克隆，而LLM負責解析和語義。
李寫道：“這類似於將對話中的人們轉變為虛擬木偶。” “由於保存原始上下文，很難檢測到。”先進社會工程添加到混合物中，攻擊表面的大小只會增長。在欺詐之外，李還指出了一種新型的實時審查制度的潛力，這可能會對政治話語，新聞和現實的一般結構產生可怕的影響。
鑑於他們能夠為動態語音劫持的成功概念驗證的輕鬆易用，李說，至關重要的是要認識到“可信賴和安全的AI不僅限於AI模型本身。更廣泛的基礎架構必須是我們AI模型和AI驅動攻擊的防禦機制。”
Pindrop說，軟件比人類更有效地識別深泡沫
根據Pindrop，另一個複雜的是，人類不是很擅長檢測假話。在公司的博客上寫作，品牌和數字經驗負責人勞拉·菲茨杰拉德（Laura Fitzgerald）UCL的新研究表明人類只能在73％的時間內人為地發現語音。
“使用生成的AI技術，壞演員可以將聲音注入實時流，從而導致欺詐損失，錯誤信息的傳播和損害的品牌聲譽，”菲茨杰拉德寫信。該公司表示，其生物識別語音引擎Pindrop Pulse可以在深擊檢測中勝過人類。
菲茨杰拉德（Fitzgerald）說：“在我們的實驗室測試中，有1100萬個樣本測試數據集，Pindrop Pulse可以在99％的時間內檢測到DeepFake。”科技Pindrop的流程將呼叫的元數據產生預測和風險評分。護照軟件基於多個輸入提供了其他風險分析。風險API顯示livesice可以實時分數，並且可以校準策略以過濾DeepFake調用。
AI和LLM的功能以速度增加。菲茨杰拉德寫道：“基準圖表上的人工智能表現可以表明它在幾個任務中超過了人類。” “新任務中人類超過人類的速度正在提高。”隨著曲線向上趨向未知領域，防禦性必須是敏捷和適應性的。
