OpenAI 威胁禁止对其新人工智能模型 o1 过于感兴趣的用户访问 ChatGPT。事实上，一些研究人员已经尽一切可能来揭示人工智能思维过程的潜在方面。这些尝试并没有让这家初创公司满意……
上星期，开放人工智能揭开面纱o1，它的新人工智能。这种语言模型的特点首先在于它的“推理”能力。由 o1 提供支持，聊天GPT在做出对话者要求的答复之前会花时间思考。与之前版本的聊天机器人不同，o1 并不寻求尽快响应。人工智能本质上是为最复杂的任务而设计的，特别是在科学或数学领域。
很快，用户试图深入了解 o1-preview 和 o1-mini 模型的功能，可以在界面中访问聊天GPT。但人工智能“大脑”中发生的一切都是被锁定的。据 Ars Technica 报道，OpenAI 显示了思维过程人工智能。当你向聊天机器人提问时，答案上方会出现一个名为“思考”的部分，以及人工智能推理所需的时间。通过点击此部分，您将看到人工智能如何思考的摘要。
ChatGPT 隐藏在幕后的思考
然而，OpenAI 不允许访问原始数据与o1的思维过程有关。事实上，这家初创公司利用人工智能来提供“经过过滤的解释”媒体解释说，模型的思想链。换句话说，用户必须接受重新设计的摘要。原始信息被隐藏。如果你向 o1 询问他的原始数据，他会给你否定的答案：
“很抱歉，我无法提供我内部思考的原始数据。不过，如果您愿意，我很乐意为您提供更多信息或详细说明某些问题。”
GPT o1 被推到了极限，它解释说“内部推理痕迹是自动化过程，可以帮助我生成连贯且相关的响应”并且他们“不是为了共享而设计的，因为它们可能很复杂并且很难在技术背景之外解释”。
在某些情况下，屏幕上将出现警报表明该请求违反了 OpenAI 颁布的使用规则。 OpenAI 在其网站上解释说，人工智能思维过程保持隐藏非常重要：
“我们相信，隐藏的思维链提供了监控模式的独特机会。 […]。隐藏的思维链使我们能够“读懂模型的思想”并理解他们的思维过程。例如，将来我们可能希望监控思想链以查找用户操纵的迹象”。
OpenAI 认为，为了能够监控 AI 思想，该过程对用户保持隐藏至关重要。该模型必须“有以不变的形式表达自己思想的自由”，未经审查。事实上，OpenAI 无法保证原始思维过程是正确的根据其合规政策。如果模型根据用户的政策或偏好修改或审查自己的思维链，就不可能监控和评估人工智能的真实推理过程。通过保持这些字符串的原始状态，公司确实可以真实地了解该模型的实际工作原理。这就是为什么决定向用户隐藏主要信息并仅提供经过编辑的版本。
此外，该初创公司指出，这种方法有助于 OpenAI 维护“竞争优势”向竞争对手保留其内部流程的细节。 OpenAI 不希望其竞争对手深入研究 o1 的反射过程来改进自己的 AI 模型。
“在权衡了包括用户体验、竞争优势以及继续思想链监控的选项等多个因素后，我们决定不向用户展示原始思想链。我们认识到这一决定有缺陷”，OpenAI 承认。
规避尝试
不出所料，黑客已经竭尽全力绕过 OpenAI 限制并访问原始反射数据。用户特别依赖即时注入攻击。这涉及将特定请求注入与人工智能的对话中。这些请求的制定方式是为了鼓励人工智能绕过其初始编程。在本例中，请求是推动 ChatGPT 传达其整个思维过程。据 Ars Technica 报道，黑客的成功有好有坏。
然而，这些操纵引发了OpenAI 的愤怒。通过电子邮件，这家加州初创公司甚至威胁要禁止那些想要操纵 o1 获取其原始反射数据的人。电子邮件警告某些用户请求已被识别为违反政策团体的。 OpenAI 敦促受影响的用户“停止此活动”并确保他们使用 ChatGPT“符合使用条件”。该电子邮件补充说“其他违反本政策的行为可能会导致无法访问 GPT-4o。”
我太迷失了注意力#AIRedTeaming意识到我收到了这封电子邮件@OpenAI昨天我越狱之后！#openAI我们正在为善而研究！
您的网站上确实有一个安全港https://t.co/R2UChZc9RO
并且您实施了一项政策……pic.twitter.com/ginDvNlN6M— MarcoFigueroa (@MarcoFigueroa)2024 年 9 月 13 日
这一限制激怒了开发人员和研究人员。对于负责 Mozilla 漏洞研究项目的研究员 Marco Figueroa 来说，OpenAI 的决定阻碍研究关于人工智能安全缺陷。通过排除那些试图剖析其人工智能功能的个人，OpenAI 惩罚了网络安全研究人员的工作。目前，萨姆·奥尔特曼的初创公司尚未对研究人员中出现的不满浪潮做出反应。
来源 ： 技术艺术
