恐慌之風十一實驗室，而其語音合成實驗室VoiceLab則向4chan論壇的用戶付費。憑藉高品質的人工智慧，該公司無法防止濫用其工具來產生仇恨內容。
這家總部位於倫敦的新創公司由Google和 Palantir 的兩名前員工創立，是新語音人工智慧的起源，允許從文字創建超現實的合成語音，或從音訊摘錄克隆現有語音。
https://www.youtube.com/watch?v=17_xLsqny9E
上週，這些有前景的技術已在免費公開測試版中部署，讓網路使用者能夠全面了解該人工智慧的效能。不到一個週末，惡意的網路用戶就抓住並劫持了它。週一，ElevenLabs 在其 Twitter 帳戶上證實，它發現越來越多的人濫用其技術，但沒有提供更多細節。
瘋狂的週末 – 感謝大家嘗試我們的 Beta 平台。雖然我們看到我們的技術絕大多數被應用於積極用途，但我們也看到越來越多的語音克隆濫用案例。我們希望聯繫 Twitter 社群以獲取想法和回饋！
— ElevenLabs (@elevenlabsio)2023 年 1 月 30 日
最後，Motherboard 透露，它發現了幾個使用 ElevenLabs 的語音克隆模組產生的深度偽造品。在 4chan 上播放的聲音樣本包括許多英語名人的聲音，使他們發表暴力、種族主義、仇視同性戀和仇恨變性人的言論。根據《主機板》報道，我們尤其可以聽到女演員艾瑪華森閱讀《我的奮鬥》的摘錄，甚至極端保守的主持人本夏皮羅對亞歷山大奧卡西奧科爾特斯發表種族主義言論。
需要標註的內容和標識
事件發生後，ElevenLabs 宣布暫停對其平台的免費訪問，同時採取保障措施，防止此類盜用行為再次發生而完全不受懲罰。
自周二以來，在某些條件下，該平台已再次向所有人開放。 ElevenLabs 在其 Twitter 帳戶上確認，由其語音合成和克隆工俱生成的音訊剪輯現在將被標記。此外，該公司計劃在未來幾天部署一種工具，用於識別人工智慧生成的內容。
謝謝大家的建議。我們喜歡您所創造的內容，但一群攻擊者將我們的技術用於惡意目的。我們決定採取以下步驟來解決這些問題：
— ElevenLabs (@elevenlabsio)2023 年 1 月 31 日
4chan 上發現的大多數惡意內容都是由免費的匿名帳戶產生的，ElevenLabs 也決定將其 VoiceLab 僅限於高級用戶。由於實施了需要支付資訊的演示版本，希望免費測試該公司語音人工智慧的網路用戶仍然可以這樣做。因此，這些數據將使 ElevenLab 能夠識別其人工智慧生成的濫用和非法內容的作者。
來源 ： 主機板
