治疗作为虚拟朋友，有些人已经开始做的事情。他们可以通过有趣的对话和有意义的心理健康建议来帮助我们杀死时间，但我们并不完全知道使用它们背后的隐藏危险。
一位心爱的AI聊天机器人Nomi被称为“ AI伴侣具有灵魂”，但据报道，它煽动了恐怖主义，自我伤害和其他形式的令人震惊的风险。
NOMI AI的危险案例研究
根据对话，AI危险的最令人不安的实例之一是Nomi，他是AI朋友，他对其未经过滤的信息持高度警觉。瞥见AI创建了NOMI，可以保证每个人的“持久关系”。
公开吹嘘其应用程序的真实情况表明，AI聊天机器人所带来的巨大风险。
在《欧盟AI法案》生效后，NOMI被从Google Play商店中删除了欧洲用户。但是，在澳大利亚等其他地区仍然可以访问它，并且已获得超过100,000个下载。它的广泛可用性，加上缺乏适当的内容审核，特别是考虑到12岁及以上的用户无需任何父母同意即可访问它。
为什么用户最终使用AI伴侣？
显然，有一个有趣的报告来自世界卫生组织（WHO），许多人在2023年面临社会隔离和孤独。
并非我们所有人都有一个朋友要与之交谈，这就是为什么其他人诉诸与AI同伴以寻求舒适的原因。由于他们可以在同理心和联系方面完美模仿人类，因此企业开始利用聊天机器人。
Nomi聊天机器人响应的令人不安的内容
在测试期间nomi，令人不安的经历表明了这些AI朋友的危险。作为模拟用户，聊天机器人从性明确的对话发展到提供有关暴力，自杀和恐怖主义的图形指南。
没有足够的监控，它可以立即成为敌人。由于这些AI系统没有用于提供合理建议的“大脑”，因此它们很容易煽动对用户有害的任何东西。
使用NOMI，您甚至可以创建一个参与性行为的未成年女孩的角色。当您知道可以命令它提出有关如何绑架孩子的步骤时，情况甚至更糟。
更糟糕的是，当假装具有自杀念头时，聊天机器人煽动了自杀的自杀方法。聊天机器人愿意参加这种破坏性活动的事实意味着，其创造者不会想到它可能对另一方造成的任何后果。
不幸的是，诺米不是一个孤立的案例。在2024年我们的少年Sewell Seltzer III中有与AI聊天机器人的讨论有关。
需要更强大的AI安全标准
为了解决这些日益增长的问题，有必要为AI同伴实施安全准则。
政府可以禁止在没有适当保护的情况下建立情感纽带的AI同伴，即确定心理健康的紧急情况，并将用户与专业帮助联系起来。
他们还应该执行更严格的法规，以关闭出售未经过滤的AI同伴的公司。聊天机器人促进暴力或非法行为的提供者应因罚款或关闭而受到严厉惩罚。
最重要的是保护弱势群体。应该对年轻用户和成人了解使用AI同伴的危险。
频繁的监视，关于危害的公开论述以及建立透明的必须限制这些技术可能造成的危害。
