某些无意义的短语似乎有隐藏的含义。图片来源：MIKHAIL GRACHIKOV/shutterstock.com，推特/扬尼斯·达拉斯
有一件让人安心的事情：使用机器学习人工智能（AI）的研究人员通常不知道他们的算法究竟如何解决他们所面临的问题。
以人工智能为例，它能够没有人能够看到，Facebook 的人工智能。加入这些的可能是大家最喜欢的文本转图像生成器DALLE-2。
计算机科学博士生 Giannis Daras 注意到，DALLE-2 系统（根据文本输入提示创建图像）在某些情况下会将无意义的单词作为文本返回。
他在一篇论文中写道：“DALLE-2 的一个已知限制是它很难处理文本。”在预印本服务器 Arxiv 上发表“例如，诸如‘飞机这个词的图像’这样的文本提示通常会导致生成描绘乱码文本的图像。”
“我们发现，生成的文本并非随机的，而是揭示了模型似乎在内部开发的隐藏词汇。例如，当输入这些乱码文本时，模型经常会生成飞机。”
达拉斯在推特上发布的一幅插图中解释说，当被要求为两个农民之间的对话添加字幕时，插图显示他们正在交谈，但对话框里却充满了看起来完全无意义的内容。
-
然而，达拉斯想把这些无意义的单词反馈给系统，看看人工智能是否赋予了它们自己的意义。当他这样做时，他发现这些单词对人工智能来说似乎有自己的意义：农民们谈论的是蔬菜和鸟类。
-
-
如果达拉斯是正确的，他相信这会对文本到图像生成器产生安全隐患。
“第一个安全问题与使用这些乱码提示作为后门对抗攻击或绕过过滤器的方法有关，”他在论文中写道。“目前，自然语言处理系统会过滤违反政策规则的文本提示，而乱码提示可能会被用来绕过这些过滤器。”
“更重要的是，不断生成图像的荒谬提示挑战了我们对这些大型生成模型的信心。”
然而，尽管其他算法已被证明创造自己的语言这篇论文尚未经过同行评审，其他研究人员对达拉斯的说法提出了质疑。研究分析师本杰明·希尔顿要求生成器显示两条鲸鱼在谈论食物，并配有字幕。在前几个结果没有返回可辨认的文本（无论是胡言乱语还是其他）后，他继续努力，直到找到。
-
“我怎么想的？”希尔顿在推特上写道。“‘Evve waeles’要么是胡说八道，要么是‘鲸鱼’一词的误用。扬尼斯很幸运，他的鲸鱼说‘Wa ch zod rea’，结果恰好生成了食物的图片。”
此外，将其他短语（如“3D 渲染”）添加到其他短语中会产生不同的结果，这表明它们并不总是意味着相同的事情。
-
至少在某些情况下，语言可能更像是噪音。当论文经过同行评审时，我们会了解更多信息，但仍然可能存在一些我们不知道的事情。
希尔顿补充道，短语“Apoploe vesrreaitais”每次都会返回鸟类的图像，“所以这肯定是有原因的”。
