恐慌之风十一实验室，而其语音合成实验室VoiceLab则向4chan论坛的用户付费。凭借高质量的人工智能，该公司无法防止滥用其工具来生成仇恨内容。
这家总部位于伦敦的初创公司由谷歌和 Palantir 的两名前员工创立，是新语音人工智能的起源，允许从文本创建超现实的合成语音，或从音频摘录克隆现有语音。
https://www.youtube.com/watch?v=17_xLsqny9E
上周，这些有前景的技术已在免费公开测试版中部署，让互联网用户能够全面了解该人工智能的性能。不到一个周末，恶意的互联网用户就抓住并劫持了它。周一，ElevenLabs 在其 Twitter 帐户上证实，它发现越来越多的人滥用其技术，但没有提供更多细节。
疯狂的周末 – 感谢大家尝试我们的 Beta 平台。虽然我们看到我们的技术绝大多数被应用于积极用途，但我们也看到越来越多的语音克隆滥用案例。我们希望联系 Twitter 社区以获取想法和反馈！
— ElevenLabs (@elevenlabsio)2023 年 1 月 30 日
最后，Motherboard 透露，它发现了几个使用 ElevenLabs 的语音克隆模块生成的深度伪造品。在 4chan 上播放的声音样本包括许多英语名人的声音，使他们发表暴力、种族主义、仇视同性恋和仇视变性人的言论。据《主板》报道，我们尤其可以听到女演员艾玛·沃特森阅读《我的奋斗》的摘录，甚至极端保守的主持人本·夏皮罗对亚历山大·奥卡西奥-科尔特斯发表种族主义言论。
需要标注的内容和标识
事件发生后，ElevenLabs 宣布暂停对其平台的免费访问，同时采取保障措施，防止此类盗用行为再次发生而完全不受惩罚。
自周二以来，在某些条件下，该平台已再次向所有人开放。 ElevenLabs 在其 Twitter 帐户上确认，由其语音合成和克隆工具生成的音频剪辑现在将被标记。此外，该公司计划在未来几天部署一种工具，用于识别人工智能生成的内容。
谢谢大家的建议。我们喜欢您所创造的内容，但一群攻击者将我们的技术用于恶意目的。我们决定采取以下步骤来解决这些问题：
— ElevenLabs (@elevenlabsio)2023 年 1 月 31 日
4chan 上发现的大多数恶意内容都是由免费的匿名帐户生成的，ElevenLabs 还决定将其 VoiceLab 仅限于高级用户。由于实施了需要支付信息的演示版本，希望免费测试该公司语音人工智能的互联网用户仍然可以这样做。因此，这些数据将使 ElevenLab 能够识别其人工智能生成的滥用和非法内容的作者。
来源 ： 母板
