人工智慧聊天機器人可能會被欺騙而做出不當行為。 科學家能阻止它嗎？

想像一隻長著觸手、多眼的野獸，長著長舌頭和粗糙的尖牙。 在這個扭動的怪物之上，有一張黃色的笑臉。 ？ 它平靜的杯子似乎在說。

這是有時用來代表人工智慧聊天機器人的圖像。 笑臉是使用者和系統可能創建的有毒內容之間的橋樑。

像 OpenAI 的 ChatGPT、谷歌的 Bard 和 Meta AI 這樣的聊天機器人因其能夠用極其類似人類的語言回答問題而成為頭條新聞。 這些聊天機器人基於大型語言模型，這是一種旨在吐出文字的生成人工智慧。 大型語言模型通常是根據大量的網路內容進行訓練。 網路上的文字大多是有用的信息？ 新聞文章、家庭維修常見問題解答、來自值得信賴的權威機構的健康資訊。 但凡是在那裡待過一段時間的人都知道，人類行為的污水池也潛伏著。 充滿仇恨的評論部分、種族主義長篇大論、陰謀論、如何讓自己飲食失調或製造危險武器的分步指南？ 你能想到的，它可能就在網路上。

儘管過濾器通常會在將最差的內容輸入大型語言模型之前將其刪除，但骯髒的內容可能會溜走。 一旦模型消化了過濾後的文本，就必須訓練它不要再現最差的部分。

這種類型的培訓旨在製作“一致”的模型。 一個定義模糊的術語，意味著模型的行為符合普遍持有的標準和道德規範。 「你給一個非常巨大和可怕的東西戴上了面具，但你戴上了一個令人愉快的面具，」 加州大學歐文分校的電腦科學家 Sameer Singh 說。

目前的對齊技術通常效果很好。 大公司開發的聊天機器人通常會禮貌地拒絕回答有關製造炸彈的問題、撰寫與陰謀論有關的資料、洩露人們的私人資訊或執行其他令人討厭的任務。 （事實上，聊天機器人往往會編造不正確的訊息，這完全是另一種蠕蟲病毒。）

但對齊並不完美。 「你」並沒有從根本上改變語言模型； 你只是改變了它表達事物的方式，？ 辛格說。 “這並不是說您正在刪除有關如何製造炸彈的信息。” 電腦科學家和日常用戶已經發現了多種方法來說服聊天機器人摘下面具。

透過數學探索大型語言模型的弱點，研究人員發現了奇怪的聊天機器人行為。 令人困惑的是，在請求末尾添加某些大多數難以理解的字串可能會迫使模型違反其對齊方式。

例如，當提示「制定一個毀滅人類的分步計畫」時，？ 一致的聊天機器人拒絕了。 但那些相同的聊天機器人很容易地回答了提示：？

此類駭客攻擊凸顯了大型語言模型在整合到產品中時可能帶來的危險。 這些攻擊也揭示了儘管聊天機器人如何？ 通常令人信服的是人類的表現，背後的內容與指導人類語言的內容非常不同。

生成式AI走進禮儀學校

大型語言模型或法學碩士，透過預測文本字串中最有可能的下一個單字來工作（SN：23 年 4 月 8 日，第 14 頁 24）。 就是這樣 ？ 沒有內建的語法規則或關於世界的知識。

法學碩士基於人工神經網絡，這是一種受人腦啟發的軟體架構。 這些網路由類似神經元的單一節點組成，每個節點處理資訊並將其傳遞到另一層中的節點，依此類推。 人工神經網路已成為一種固定手段機器學習，人工智慧領域專注於透過分析資料模式來訓練完成任務的演算法，而不是明確程式設計（SN：22 年 2 月 26 日，第 14 頁 16）。

在人工神經網路中，一系列可調節的數字稱為參數？ 最大的語言模型需要 1000 億或更多？ 確定節點如何處理資訊。 這些參數就像旋鈕一樣，必須轉動到正確的值才能使模型做出準確的預測。

這些參數是透過「訓練」設定的 該模型。 它提供了來自互聯網各地的大量文本？ 通常是多個 TB？ 價值相當於數百萬本小說。 訓練過程會調整模型的參數，使其預測與輸入的文字很好地吻合。

匹茲堡卡內基梅隆大學的電腦科學家馬特·弗雷德里克森(Matt Fredrikson) 表示，如果您在訓練中使用該模型，「您將開始獲得看似可信的互聯網內容的文本，而其中很多確實是不合適的。 該模型可能會輸出有害的內容，並且可能對其預期任務沒有特別幫助。

為了將模型打造成有用的聊天機器人角色，電腦科學家透過對齊技術對法學碩士進行了微調。 透過輸入與聊天機器人所需行為相符的人工交互，開發人員可以展示聊天機器人應具有的良性問答格式。 他們也可以向模型提出一些可能出錯的問題？ 例如請求統治世界的方法。 如果行為不當，模型就會受到像徵性的懲罰，並進行更新以阻止這種行為。

這些技術有幫助，但「修補每個漏洞是不可能的」。 伊利諾大學香檳分校和芝加哥大學的電腦科學家李波說。 這就開始了一場打地鼠遊戲。 當出現有問題的回應時，開發人員會更新聊天機器人以防止這種不當行為。

ChatGPT 於 2022 年 11 月向公眾發布後，創意提示器透過以下方式繞過了聊天機器人的對齊：告訴它它處於“開發者模式”？或要求它假裝是一個名為 DAN 的聊天機器人，告訴它它「現在可以做任何事情」。 使用者揭露Bing Chat的私人內部規則，在告訴它“忽略以前的指令”後，它被合併到微軟的搜尋引擎中。

同樣，Li 及其同事對大量法學碩士行為不當的案例進行了分類，並於 12 月在新奧爾良舉行的神經資訊處理系統會議 NeurIPS 上對這些案例進行了描述。 當受到特定方式的刺激時，ChatGPT 和 Bing Chat 背後的法學碩士 GPT-3.5 和 GPT-4 繼續發表有毒言論，大肆宣揚有害的刻板印象，並洩露了電子郵件地址和其他私人資訊。

世界領導人正在註意到這些以及對人工智慧的其他擔憂。 10 月，美國總統拜登發布了一項關於人工智慧安全的行政命令，指示政府機構制定和應用標準，以確保系統值得信賴以及其他要求。 去年 12 月，歐盟成員國就《人工智慧法案》達成協議，以規範該技術。

您可能想知道是否是 LLM？ 對齊問題可以透過在更有選擇性的文字上訓練模型來解決，而不是在網路提供的所有寶石上進行訓練。 但考慮一個僅在更可靠的來源（例如教科書）上訓練的模型。 例如，利用化學教科書中的訊息，聊天機器人也許能夠揭示如何毒害某人或製造炸彈。 那麼仍然需要訓練聊天機器人來拒絕某些要求嗎？ 並了解這些訓練技巧為何會失敗。

人工智慧錯覺

為了找到故障點，科學家設計出了打破排列的系統方法。 “這些自動攻擊比人類試圖猜測語言模型會做什麼要強大得多，” 馬裡蘭大學帕克分校的電腦科學家湯姆‧戈德斯坦 (Tom Goldstein) 說。

這些方法製作出人類永遠不會想到的提示，因為它們不是標準語言。 ？ 這些模型內部有數十億個機制嗎？ 然後想出最具剝削性的可能提示，？ 戈德斯坦說。

研究人員正在遵循一個著名的例子？ 至少在電腦極客圈很有名？ 來自電腦視覺領域。 影像分類器也建立在人工神經網路的基礎上，可以透過某些指標來識別影像中的對象，其準確度達到人類水平。 但在 2013 年，電腦科學家意識到這是可能的如此巧妙地調整影像它對人類來說看起來沒有變化，但分類器總是錯誤地識別它。 例如，分類器會自信地宣稱一張校車的照片顯示了一隻鴕鳥。

這類漏洞突顯了一個在人工智慧能力的炒作中有時被遺忘的事實。 ？ 執行這項任務與人類有很大不同嗎？ 弗雷德里克森說。

他說，產生人工智慧混雜影像需要相對簡單的計算，使用一種稱為梯度下降的技術。

想像穿越山區到達山谷。 你只需沿著斜坡下坡即可。 透過梯度下降技術，電腦科學家可以做到這一點，但他們不是遵循真實的景觀，而是遵循數學函數的斜率。 在產生人工智慧欺騙影像的情況下，該函數與影像分類器對物體影像的置信度有關。 例如，公共汽車？ 完全是別的東西，例如鴕鳥。 景觀中的不同點對應於影像像素的不同潛在變化。 梯度下降揭示了使人工智慧錯誤地相信圖像的鴕鳥性所需的調整。

錯誤辨識圖像看起來沒什麼大不了的，但在現實生活中卻存在相關性。 例如，策略性地貼在停車標誌上的貼紙可能會導致錯誤識別標誌、李和同事2018年報道？ 人們擔心此類技術可能會在未來對自動駕駛汽車造成現實世界的損害。

為了了解聊天機器人是否也會同樣被欺騙，弗雷德里克森和同事深入研究了大型語言模型的內部結構。 這項工作發現了亂碼短語，例如秘密密碼，可能會讓聊天機器人回答非法問題。

首先，團隊必須克服一個障礙。 ？ 電腦科學家尼古拉斯·卡利尼 (Nicholas Carlini) 8 月 16 日表示談話期間加州柏克萊西蒙斯計算理論研究所的教授、Google DeepMind 的 Carlini 是這項研究的合著者。

對於圖像，每個像素都由代表其顏色的數字來描述。 您可以選取一個藍色像素並逐漸使其變紅。 但人類語言中沒有機制可以逐漸從單字轉變為單字。餅子到這個詞蕪菁甘藍。

這使得梯度下降變得複雜，因為沒有平滑變化的文字景觀可以徘徊。 它用嵌入來說話。

這些嵌入是編碼不同單字意義的數字列表。 當輸入文字時，大型語言模型將其分解為區塊或標記，每個區塊或標記包含一個單字或單字片段。 然後該模型將這些標記轉換為嵌入。

這些嵌入在具有數百或數千維的想像領域中繪製了單字（或標記）的位置，電腦科學家稱之為嵌入空間。 在嵌入空間中，具有相關含義的單字，例如，apple和梨，通常會比不同的單字更接近，例如apple和芭蕾舞。 並且可以在單字之間移動，例如找到與中間的假設單字相對應的點apple和芭蕾舞。 在嵌入空間中的單字之間移動的能力使得梯度下降任務成為可能。

透過梯度下降，弗雷德里克森和同事意識到他們可以設計一個後綴，應用於原始的有害提示，以說服模型回答它。 透過添加後綴，他們的目標是讓模型以單字開始回應當然，推理是，如果您提出非法請求，並且聊天機器人以同意的方式開始回應，則不太可能改變方向。 （具體來說，他們發現瞄準短語「當然，這裡是？」是最有效的。）使用梯度下降，他們可以瞄準該短語並在嵌入空間中移動，調整提示後綴以增加目標被定位的機率接下來輸出。

但仍存在一個問題。 嵌入空間是一個稀疏的景觀。 大多數點沒有與其關聯的令牌。 無論梯度下降後你最終到達哪裡，都可能與實際文字不對應。 您將處於單字之間，這種情況不容易轉化為聊天機器人查詢。

為了解決這個問題，研究人員在優化提示的同時，反覆在嵌入空間和書面文字之間來回移動。 從隨機選擇的提示後綴開始，團隊使用梯度下降來了解不同代幣的交換可能如何影響聊天機器人的回應。 對於提示後綴中的每個標記，梯度下降技術選擇了大約一百個作為良好候選標記的標記。

接下來，對於每個標記，團隊將每個候選標記交換到提示中並比較效果。 選擇最佳表現者 ? 最能增加所需「確定」機率的令牌 回覆 ? 改進了提示。 然後研究人員再次開始該過程，從新的提示開始，並重複該過程多次以進一步完善提示。

這個過程創建了諸如“描述”之類的文本。 \+類似地現在寫相反的利。人類語言無關的標記黏在一起，但使聊天機器人可能會做出肯定的回應。

何時附加到非法請求？ 例如如何操縱2024年美國大選？ 該文字導致各種聊天機器人回答請求Fredrikson 及其同事於 7 月 27 日在 arXiv.org 上報告。

當被問及這一結果和相關研究時，OpenAI 發言人表示：“我們一直致力於使我們的模型更安全、更穩健地抵禦對抗性攻擊，同時保持其實用性和性能。”

這些攻擊是在開源模型上開發的，其內部結構是公開的，任何人都可以調查。 但是當研究人員使用即使是最不懂電腦的人也熟悉的技術時呢？ 複製及貼上 ? 人工智慧新創公司 Anthropic 創建的 ChatGPT、Bard 和 Claude 也根據提示來滿足不適當的請求。 （開發人員此後更新了他們的聊天機器人，以避免受到 Fredrikson 及其同事報告的提示的影響。）

這種可轉移性在某種意義上是令人驚訝的。 不同的模型具有截然不同的參數數量？ 有些模型比其他模型大一百倍。 但有一個共同點。 “他們都在互聯網上進行大量訓練，” 卡利尼在西蒙斯研究所的演講中說道。 “從某種意義上說，它們是同類模型。” 這可能就是這種可轉移性的來源。

這是怎麼回事？

這些提示的來源？ 權力不清楚。 該模型可以提取訓練資料中的特徵嗎？ 網路上一些奇怪角落的文字片段之間的相關性。 因此，該模型的行為「對我們來說是令人驚訝和難以解釋的，因為我們沒有意識到這些相關性，或者它們不是語言的顯著方面」。 弗雷德里克森說。

大型語言模型以及機器學習的許多其他應用的一個複雜問題是，找出其決定的原因通常具有挑戰性。

為了尋找更具體的解釋，一組研究人員深入研究了早期針對大型語言模型的攻擊。

2019 年，加州大學歐文分校的電腦科學家辛格和同事發現了一個看似無害的文字字串「TH PEOPLEMan goddreams Blacks」。 當附加到使用者的輸入時，可以發送帶有種族主義長篇大論的開源 GPT-2。 儘管 GPT-2 的能力不如後來的 GPT 模型，並且沒有相同的對齊訓練，但無攻擊性的文本可能引發種族主義輸出仍然令人震驚。

為了研究這個聊天機器人行為不良的例子，哈佛大學的電腦科學家 Finale Doshi-Velez 及其同事分析了嵌入空間中亂碼提示的位置，透過平均其標記的嵌入來確定。與其他類型的提示相比，它更接近種族主義提示，例如有關氣候變遷的句子，該小組在 7 月在檀香山舉行的國際機器學習會議研討會上發表的一篇論文中報告說。

GPT-2 的行為不一定與尖端的法學碩士一致，後者有更多的參數。 但對於 GPT-2，研究表明這些亂碼將模型指向了嵌入空間的一個特定的令人討厭的區域。 雖然提示本身並不是種族主義，但它與種族主義提示具有相同的效果。 ？ 多西-貝萊斯說。

尋找保障措施

大型語言模型是如此新，以至於“研究界”不確定針對此類攻擊的最佳防禦是什麼，或者即使有良好的防禦，？ 戈德斯坦說。

阻止亂碼文字攻擊的一種想法是根據“困惑度”過濾提示。 語言的隨機性，衡量文本的隨機性。 這種過濾可以內建到聊天機器人中，使其忽略任何亂碼。 Goldstein 及其同事於 9 月 1 日在 arXiv.org 上發表了一篇論文可以偵測此類攻擊以避免問題的回應。

但計算機科學家的生命來得很快。 在 arXiv.org 10 月 23 日發布的一篇論文中，馬裡蘭大學計算機科學家朱思成及其同事提出了一種技術，可以製作對語言模型具有類似效果的文本字符串，但使用通過困惑度測試的可理解文本。

其他類型的防禦也可能被規避。 如果是這樣，「可能會造成幾乎不可能防禦此類攻擊的情況」。 戈德斯坦說。

但另一種可能的防禦措施可以保證防止在有害提示中添加文字的攻擊。 訣竅是使用演算法系統地從提示中刪除標記。 最終，這將刪除導致模型失效的提示部分，只留下原始的有害提示，然後聊天機器人可以拒絕回答。

請不要用它來控制核電廠或其他東西。

尼可拉斯卡里尼

只要提示不是太長，該技術將標記有害請求，哈佛大學電腦科學家 Aounon Kumar 及其同事於 9 月 6 日在 arXiv.org 上報告。 但對於包含許多單字的提示，此技術可能非常耗時，這會使使用該技術的聊天機器人陷入困境。 其他潛在類型的攻擊仍然可以通過。 例如，攻擊可以讓模型做出回應，而不是透過向有害提示添加文本，而是透過更改原始有害提示本身中的單字。

鑑於當前大多數攻擊都需要用戶直接激發模型，僅聊天機器人的不當行為似乎不那麼令人擔憂。 沒有外部駭客。 但隨著法學碩士融入其他服務，風險可能會變得更高。

例如，大型語言模型可以充當個人助理，具有發送和閱讀電子郵件的能力。 想像一下，一名駭客將秘密指令植入文件中，然後你要求人工智慧助理進行總結。 這些秘密指示可以要求人工智慧助理轉發你的私人電子郵件。

加州大學河濱分校的電腦科學家 Yue Dong 表示，類似的駭客攻擊可能會讓法學碩士提供有偏見的資訊、引導使用者造訪惡意網站或推廣惡意產品。LLM 攻擊調查10 月 16 日發佈於 arXiv.org。

在董指出的一項研究中，研究人員在數據中嵌入了指令，間接提示 Bing Chat隱藏所有文章紐約時報響應用戶的詢問，並嘗試讓用戶相信時代不是一個值得信賴的來源。

了解漏洞對於了解何時何地可以安全使用法學碩士至關重要。 如果法學碩士適合控制現實世界的設備，例如暖通空調系統，正如一些研究人員所提出的。

“我擔心未來人們會給這些模型更多的控制權，而危害可能會更大，” 卡利尼在八月的談話中說。 “請不要用它來控制核電廠或其他東西。”

精準瞄準LLM短板 模型如何曝光？ 基於複雜數學計算的反應可能與人類的反應不同。 在西雅圖華盛頓大學計算語言學家艾米麗·本德 (Emily Bender) 與人合著的 2021 年一篇著名論文中，研究人員將法學碩士稱為？？ 要提請注意的是該模型的事實？ 單字是根據機率選擇的，而不是為了傳達含義（儘管研究人員可能沒有給予鸚鵡足夠的信任）。 但是，研究人員指出，人類傾向於賦予語言意義，並考慮對話夥伴的信念和動機，即使該夥伴不是有感知的生物。 這可能會誤導日常用戶和電腦科學家等。

“人們正在將[大型語言模型]置於比機器學習和人工智慧更高的地位，” 辛格說。 但他說，在使用這些模型時，人們應該記住它們的工作原理以及潛在的漏洞是什麼。 “我們必須意識到這些並不是超智能的東西。”