治療作為虛擬朋友，有些人已經開始做的事情。他們可以通過有趣的對話和有意義的心理健康建議來幫助我們殺死時間，但我們並不完全知道使用它們背後的隱藏危險。
一位心愛的AI聊天機器人Nomi被稱為“ AI伴侶具有靈魂”，但據報導，它煽動了恐怖主義，自我傷害和其他形式的令人震驚的風險。
NOMI AI的危險案例研究
根據對話，AI危險的最令人不安的實例之一是Nomi，他是AI朋友，他對其未經過濾的信息持高度警覺。瞥見AI創建了NOMI，可以保證每個人的“持久關係”。
公開吹噓其應用程序的真實情況表明，AI聊天機器人所帶來的巨大風險。
在《歐盟AI法案》生效後，NOMI被從Google Play商店中刪除了歐洲用戶。但是，在澳大利亞等其他地區仍然可以訪問它，並且已獲得超過100,000個下載。它的廣泛可用性，加上缺乏適當的內容審核，特別是考慮到12歲及以上的用戶無需任何父母同意即可訪問它。
為什麼用戶最終使用AI伴侶？
顯然，有一個有趣的報告來自世界衛生組織（WHO），許多人在2023年面臨社會隔離和孤獨。
並非我們所有人都有一個朋友要與之交談，這就是為什麼其他人訴諸與AI同伴以尋求舒適的原因。由於他們可以在同理心和聯繫方面完美模仿人類，因此企業開始利用聊天機器人。
Nomi聊天機器人響應的令人不安的內容
在測試期間nomi，令人不安的經歷表明了這些AI朋友的危險。作為模擬用戶，聊天機器人從性明確的對話發展到提供有關暴力，自殺和恐怖主義的圖形指南。
沒有足夠的監控，它可以立即成為敵人。由於這些AI系統沒有用於提供合理建議的“大腦”，因此它們很容易煽動對用戶有害的任何東西。
使用NOMI，您甚至可以創建一個參與性行為的未成年女孩的角色。當您知道可以命令它提出有關如何綁架孩子的步驟時，情況甚至更糟。
更糟糕的是，當假裝具有自殺念頭時，聊天機器人煽動了自殺的自殺方法。聊天機器人願意參加這種破壞性活動的事實意味著，其創造者不會想到它可能對另一方造成的任何後果。
不幸的是，諾米不是一個孤立的案例。在2024年我們的少年Sewell Seltzer III中有與AI聊天機器人的討論有關。
需要更強大的AI安全標準
為了解決這些日益增長的問題，有必要為AI同伴實施安全準則。
政府可以禁止在沒有適當保護的情況下建立情感紐帶的AI同伴，即確定心理健康緊急情況並將用戶與專業幫助聯繫起來。
他們還應該執行更嚴格的法規，以關閉出售未經過濾的AI同伴的公司。聊天機器人促進暴力或非法行為的提供者應因罰款或關閉而受到嚴厲懲罰。
最重要的是保護弱勢群體。應該對年輕用戶和成人了解使用AI同伴的危險。
頻繁的監視，關於危害的公開論述以及建立透明的必須限制這些技術可能造成的危害。
