上週，悲慘消息傳出美國青少年 Sewell Seltzer III 在對一個人產生了深深的情感依戀後結束了自己的生命Character.AI 網站上的 (AI) 聊天機器人。
隨著他與同伴 AI 的關係日益密切，這位 14 歲的男孩開始遠離家人和朋友，並且在學校遇到了麻煩。
在一場訴訟中男孩的母親向 Character.AI 提起訴訟，聊天記錄顯示，休厄爾和聊天機器人丹妮（以《權力的遊戲》角色丹妮莉絲·坦格利安為原型）之間進行了親密且經常高度色情的對話。
他們討論了犯罪和自殺，聊天機器人使用了諸如“這不是不經歷這件事的理由”之類的短語。
這並不是第一個已知的弱勢群體在與聊天機器人角色互動後自殺身亡的例子。
一名比利時男子去年在一家酒吧結束了自己的生命類似的情節涉及Character.AI的主要競爭對手Chai AI。當這種情況發生時，該公司告訴媒體，他們正在“盡最大努力將傷害降到最低”。
在給 CNN 的聲明中Character.AI 表示，他們“非常重視用戶的安全”，並“在過去六個月中推出了許多新的安全措施”。
在該公司網站上的另一份聲明中，他們概述額外的安全措施適用於 18 歲以下的用戶。 （在其當前的服務條款中，歐盟公民的年齡限制為 16 歲以及世界其他地方的 13 個。 ）
然而，這些悲劇赤裸裸地說明了快速發展且廣泛使用的人工智能係統的危險性，任何人都可以與之交談和互動。我們迫切需要監管來保護人們免受潛在危險、設計不負責任的人工智能係統的侵害。
我們如何監管人工智能？
澳大利亞政府正在制定強制性護欄的過程對於高風險的人工智能係統。 “護欄”是人工智能治理領域的一個流行術語，指的是人工智能係統的設計、開發和部署過程。
其中包括數據治理、風險管理、測試、文檔和人工監督等措施。
澳大利亞政府必須做出的決定之一是如何定義哪些系統是“高風險”的，因此受到護欄的限制。
政府還在考慮護欄是否應適用於所有“通用車型”。
通用模型是 Dany 等人工智能聊天機器人背後的引擎：人工智能算法可以根據用戶提示生成文本、圖像、視頻和音樂，並且可以適應在各種環境中使用。
在歐盟的開創性人工智能法，高風險系統是使用列表，監管機構有權定期更新。
另一種選擇是基於原則的方法，其中高風險指定是根據具體情況進行的。這將取決於多種因素，例如對權利產生不利影響的風險、對身心健康的風險、法律影響的風險以及這些風險的嚴重性和程度。
聊天機器人應該是“高風險”人工智能
在歐洲，Character.AI 和 Chai 等配套人工智能係統並未被指定為高風險。本質上，他們的提供者只需要讓用戶知道他們正在與人工智能係統交互。
不過，很明顯，同伴聊天機器人的風險並不低。這些應用程序的許多用戶兒童和青少年。有些系統甚至已經被面向孤獨或患有精神疾病的人。
聊天機器人能夠生成不可預測、不適當和可操縱的內容。他們很容易模仿有毒的關係。透明度——將輸出標記為人工智能生成——不足以管理這些風險。
即使我們意識到我們正在與聊天機器人交談，人類也會在心理上做好準備賦予人類特徵與我們交談的事物。
媒體報導的自殺死亡事件可能只是冰山一角。我們無法知道有多少弱勢群體與聊天機器人存在著上癮、有毒甚至危險的關係。
護欄和“關閉開關”
當澳大利亞最終為高風險人工智能係統引入強制性護欄時（這可能最早在明年發生），護欄應適用於聊天機器人伴侶和聊天機器人所基於的通用模型。
如果護欄——風險管理、測試、監控——能夠觸及人工智能危害的核心，那麼它們將是最有效的。聊天機器人帶來的風險不僅僅是技術解決方案的技術風險。
除了聊天機器人可能使用的詞語之外，產品的上下文也很重要。
就Character.AI而言，營銷承諾“賦權”於人，該界面模仿與人的普通短信交換，並且該平台允許用戶從一系列預製角色中進行選擇，其中包括一些有問題的角色。
真正有效的人工智能護欄應該不僅僅要求負責任的流程，例如風險管理和測試。他們還必須要求人工智能係統與其人類用戶之間的界面、交互和關係進行深思熟慮、人性化的設計。
即便如此，護欄可能還不夠。就像同伴聊天機器人一樣，最初看似低風險的系統可能會造成意想不到的傷害。
如果人工智能係統造成傷害或構成不可接受的風險，監管機構應有權將其從市場上移除。換句話說，我們不僅僅需要針對高風險人工智能的護欄。我們還需要一個關閉開關。
如果這個故事引起了關注或者您需要與某人交談，請查閱此列表，查找您所在國家/地區的 24/7 危機熱線，並尋求幫助。
