ChatGPT、Gemini、Copilot 和其他人工智慧工具只需一行簡單的文字提示即可產生令人印象深刻的句子和段落。為了產生這些單字，底層的大型語言模型接受了人類編寫的大量文字和從網路上抓取的文字的訓練。但現在，隨著生成式人工智慧工具在網路上充斥著大量合成內容，這些內容被用來訓練這些人工智慧的未來幾代。研究人員表示，如果這種情況繼續不受控制，可能會造成災難性的後果。
利用自己的資料訓練大型語言模型可能導致模型崩潰，牛津大學電腦科學家 Ilia Shumailov 及其同事最近在自然。
模型崩潰聽起來令人震驚，但這並不意味著生成式人工智慧就會停止運作。相反，工具的反應將越來越偏離其原始訓練資料。儘管有時存在偏見，但原始數據很好地反映了現實。但當這些工具根據自己產生的資料進行訓練時，它們所犯的小錯誤就會累積起來，它們的內容最終會失去不同觀點的細微差別，並演變成胡言亂語。
這就是舒邁洛夫和同事的發現。該團隊採用了預先訓練的語言模型，稱為OPT-125m，並向其提供了一堆維基百科文章來微調其回應。然後，團隊給這個工具一個文字提示，並要求它預測接下來會發生什麼。其反應被反饋到模型中以進行進一步微調。當每一代人都用前一代產生的資料進行訓練時，他們發現到了第九代，模型就開始胡言亂語了。一開始是關於 14 世紀建築的提示，最終變成了長耳大野兔類型的清單。在另一組實驗中，當團隊保留一些原始資料時，模型退化很小。
這項研究表明，如果不加以控制，根據自己的反應來訓練人工智慧將會產生嚴重的後果，包括加劇偏見和將文字變成無意義的內容。大型人工智慧公司確實有辦法防止這種類型的崩潰，但隨著越來越多的人開始使用語言模型來訓練自己的聊天機器人和其他人工智慧，可能會產生後果。
生成式人工智慧模型如何崩潰？
語言模型和生成式人工智慧已經存在了幾十年，主要是在電腦科學實驗室。但聊天機器人的主導地位是最近的，從 2022 年 11 月 ChatGPT 發布供公眾使用開始。能夠並行處理資訊的更好硬體的結合，加上變壓器（一種神經網路）的出現，以及數萬億個高品質、人工創建的數據點的可用性，是這種主導地位的關鍵。
「模型崩潰表明，數據（輸入和輸出）的品質可能會下降，」舒邁洛夫說。
一開始是關於 14 世紀建築的提示，最終變成了長耳大野兔類型的清單。
舒邁洛夫說，要理解其中的原因，想像一下向電腦程式解釋什麼是貓。 “我們真的不知道如何[做到這一點]......所以我們給[法學碩士]一些關於貓是什麼的例子[文本描述]，然後我們要求模型學習定義這種生物。”法學碩士透過從給定的觀察集進行推斷，在沒有監督或明確指示的情況下做到這一點。
但這種推論會帶來微妙的錯誤。舒邁洛夫將其比作電話遊戲，其中一個短語從一個人低聲傳給另一個人，直到到達最後一個人，然後由他大聲說出來。由於沿途引入的錯誤，最初的短語常常會被嚴重破壞。這使得，產生不太正確的看似合理的內容（序號: 2/1/24）。
如果此類錯誤內容被用來訓練模型的更高版本或完全另一個模型，那麼該內容將開始影響這些模型的學習過程，並最終以某種方式「破壞」它們。
人工智慧模型在現實生活中崩潰會是什麼樣子？
德州大學奧斯汀分校的人工智慧研究員 Leqi Liu 表示，模型崩潰本質上是指偏離用於訓練模型的原始文字。造成這種情況的原因之一是資料分佈尾部（代表低機率事件的文字）的消失。例如，以貓為例，模型可能會非常擅長描述毛茸茸的貓，但無法保留有關無毛貓的資訊。
劉說，另一個例子是，少數群體的人可能會以不同的方式表達事物，而這種文本會越來越少地出現，從而進一步邊緣化有關邊緣化人群的數據。這就是我們作為最終用戶可能看到的變化。下游影響不僅是人工智慧產生的內容放大偏見正如研究表明的那樣，而且聽起來也開始一樣。 “當然，我們可能想要多樣化的自我表達，但如果我們使用同一個寫作助手，那就可能會減少這種多樣性。”
為了防止人工智慧增加偏見或崩潰並胡言亂語，追蹤所有數據並確保使用先驗知識（包括人類生成的文本）以及新知識（人工智慧生成的文本）進行訓練非常重要，劉說。基本上，這個想法是不只用人工智慧產生的資料來訓練新模型。 “另一種方法可能是我們明確確保捕獲分佈的尾部。”例如那些無毛貓。
鑑於行銷人工智慧工具的公司會嚴格檢查資料漂移，任何問題都會及早被發現並解決。因此，模型崩潰的可能性不太可能影響下游用戶，舒邁洛夫說。但嘗試在較小規模上建立模型的個人肯定會受到影響，並且需要意識到風險。
