ChatGPT、Gemini、Copilot 和其他人工智能工具只需一行简单的文本提示即可生成令人印象深刻的句子和段落。为了生成这些单词，底层的大型语言模型接受了人类编写的大量文本和从互联网上抓取的文本的训练。但现在，随着生成式人工智能工具在互联网上充斥着大量合成内容，这些内容被用来训练这些人工智能的未来几代。研究人员表示，如果这种情况继续不加控制，可能会造成灾难性的后果。
利用自己的数据训练大型语言模型可能导致模型崩溃，牛津大学计算机科学家 Ilia Shumailov 及其同事最近在自然。
模型崩溃听起来令人震惊，但这并不意味着生成式人工智能就会停止工作。相反，工具的响应将越来越偏离其原始训练数据。尽管有时存在偏见，但原始数据很好地反映了现实。但当这些工具根据自己生成的数据进行训练时，它们所犯的小错误就会累积起来，它们的内容最终会失去不同观点的细微差别，并演变成胡言乱语。
这就是舒迈洛夫和同事的发现。该团队采用了预训练的语言模型，称为OPT-125m，并向其提供了一堆维基百科文章来微调其响应。然后，团队给这个工具一个文本提示，并要求它预测接下来会发生什么。其响应被反馈到模型中以进行进一步微调。当每一代人都用前一代生成的数据进行训练时，他们发现到了第九代，模型就开始胡言乱语了。一开始是关于 14 世纪建筑的提示，最终变成了长耳大野兔类型的列表。在另一组实验中，当团队保留一些原始数据时，模型退化很小。
这项研究表明，如果不加以控制，根据自己的反应来训练人工智能将会产生严重的后果，包括加剧偏见和将文本变成无意义的内容。大型人工智能公司确实有办法防止这种类型的崩溃，但随着越来越多的人开始使用语言模型来训练自己的聊天机器人和其他人工智能，可能会产生后果。
生成式人工智能模型如何崩溃？
语言模型和生成式人工智能已经存在了几十年，主要是在计算机科学实验室。但聊天机器人的主导地位是最近的，从 2022 年 11 月 ChatGPT 发布供公众使用开始。能够并行处理信息的更好硬件的结合，加上变压器（一种神经网络）的出现，以及数万亿个高质量、人工创建的数据点的可用性，是这种主导地位的关键。
“模型崩溃表明，数据（输入和输出）的质量可能会下降，”舒迈洛夫说。
一开始是关于 14 世纪建筑的提示，最终变成了长耳大野兔类型的列表。
舒迈洛夫说，要理解其中的原因，想象一下向计算机程序解释什么是猫。 “我们真的不知道如何[做到这一点]......所以我们给[法学硕士]一些关于猫是什么的例子[文本描述]，然后我们要求模型学习定义这种生物。”法学硕士通过从给定的观察集进行推断，在没有监督或明确指示的情况下做到这一点。
但这种推断会带来微妙的错误。舒迈洛夫将其比作电话游戏，其中一个短语从一个人低声传给另一个人，直到到达最后一个人，然后由他大声说出来。由于沿途引入的错误，最初的短语常常会被严重破坏。这使得，生成不太正确的看似合理的内容（序列号: 2/1/24）。
如果此类错误内容被用来训练模型的更高版本或完全另一个模型，那么该内容将开始影响这些模型的学习过程，并最终以某种方式“破坏”它们。
人工智能模型在现实生活中崩溃会是什么样子？
德克萨斯大学奥斯汀分校的人工智能研究员 Leqi Liu 表示，模型崩溃本质上是指偏离用于训练模型的原始文本。造成这种情况的原因之一是数据分布尾部（代表低概率事件的文本）的消失。例如，以猫为例，模型可能会非常擅长描述毛茸茸的猫，但无法保留有关无毛猫的信息。
刘说，另一个例子是，少数群体的人可能会以不同的方式表达事物，而这种文本会越来越少地出现，从而进一步边缘化有关边缘化人群的数据。这就是我们作为最终用户可能看到的变化。下游影响不仅是人工智能生成的内容放大偏见正如研究表明的那样，而且听起来也开始一样。 “当然，我们可能想要多样化的自我表达，但如果我们使用同一个写作助手，那就可能会减少这种多样性。”
为了防止人工智能增加偏见或崩溃并胡言乱语，跟踪所有数据并确保使用先验知识（包括人类生成的文本）以及新知识（人工智能生成的文本）进行训练非常重要，刘说。基本上，这个想法是不只用人工智能生成的数据来训练新模型。 “另一种方法可能是我们明确确保捕获分布的尾部。”例如那些无毛猫。
鉴于营销人工智能工具的公司会严格检查数据漂移，任何问题都会及早被发现并得到解决。因此，模型崩溃的可能性不太可能影响下游用户，舒迈洛夫说。但尝试在较小规模上构建模型的个人肯定会受到影响，并且需要意识到风险。
