在挫折中Openai的许多关键的超级对象团队成员最近辞职,试图维护超级智能AI的安全发展。
Openai超级对象团队的几名成员,包括共同领导的Jan Leike,本周辞职,引用了资源分配问题。
根据TechCrunch的说法,根据团队成员的说法,Openai向该集团承诺20%的计算资源,但他们经常只收到一小部分,这阻碍了他们的研究。
超级智能AI:对人类的威胁?
周五,在DeepMind工作并开发了GPT-4和Conventsgpt的Leike解释说,他和Openai最终“达到了一个突破点”,因为他一直在与OpenAI管理层“不同意”有关“核心优先事项”的一段时间。他声称未来的AI模型准备忽略了安全性,监视和社会影响。
上周辞职的Leike和Openai联合创始人Ilya Sutskever指挥了7月成立的超级对象。在四年之内,该团队的目标是技术控制超级智能AI。
来自多个部门的科学家和工程师团队进行了安全研究,并向外部研究人员授予了数百万美元。
在X上,Leike警告说,创造比人类更聪明的机器是“固有的危险努力”。
Openai的动荡时期导致Sutskever的离开。去年,萨斯克佛(Sutskever)和先前的董事会试图解雇首席执行官萨姆·奥特曼(Sam Altman),讨论透明度问题。投资者和员工压力恢复了Altman,导致董事会辞职和计算机科学家的离开。值得注意的是,他帮助超级对象团队进行了交流和促进其工作。
报告称,在这些备受瞩目的辞职之后,OpenAI联合创始人John Schulman将监督旧的超级对象团队,现在是整个部门的一个较宽的研究人员。
同时,存在性风险天文台负责人奥托·巴顿(Otto Barten)警告说,不受控制的AI可能会劫持互联网网络,并使用它们来追求其目标,威胁全球安全和人类。
巴顿在他的时代文章中指出:“不受控制的AI可以渗透到世界上大部分地区的在线系统,访问社交媒体帐户以操纵大量人。”他还警告说,AI可以“操纵核武器”和军事人员。
为了减少危险,巴顿强调改善了针对不良互联网参与者的全球防御能力。他承认,人工智能说服人类提出问题的能力更好,但没有有效的辩护。
由于这些担忧,在OpenAI的AI安全研究人员,Google DeepMind和Anthropic以及以安全为重点的非政府组织中领导了他们的重点。
他们现在专注于生产“对齐”或安全的AI,而不是限制未来的AI。即使它可能构成存在威胁,AI的一致性旨在保护人类。

美国人反对超级智能AI开发
生成的AI很流行,但最近的一项研究表明,美国人强烈支持政府的局限性,以防止创建超级AI系统。
人工智能政策研究所9月的YouGov调查表明,有63%的受访者希望规则积极避免超级智能AI。 1,118名美国选民的民意调查试图反映投票人口。
一个关键的调查问题是法规是否应推迟AGI的发展。 Google和Openai正在努力努力AGI。 Openai的目的是“确保人工通用情报受益。”但是,民意调查表明,此消息可能与人们无法联系。
PC游戏玩家报道的这项研究发现,有63%的人相信立法应积极防止AI超级智能,21%不确定,而16%不同意。数据暗示选民更多地关心阻止坏演员获得有害的AI模型,而不是可能的优势。
该研究还发现,有67%的人赞成限制对新的,更强大的研究AI模型。将近70%的人认为我们应该将AI视为“危险,强大的技术”。
受访者并不完全反对AI突破。当询问有关增加AI教育,研究和培训的立法计划时,有55%的人支持它,24%的人反对它,其余的不确定。
