明尼苏达大学法学院的教授们将智力聊天GPT。 OpenAI 的聊天机器人的任务是回答四门考试的问题该机构的。
随后，人工智能生成的答案与其他学生的答案混合在一起。通过这种方式，老师们能够盲目评估回复的质量由 ChatGPT 提供。因此，人工智能的评估方式与任何其他有抱负的律师相同。
一个平庸的学生
借助机器学习，聊天机器人成功通过了法律考试。它实际上继承了C+等级，即平庸，但还过得去。显然，ChatGPT 并没有因为远远优于其他学生而创造奇迹。平均而言，其他学生确实能够获得B+。然而，所产生的反应足以获得文凭。
«单独来看，ChatGPT 会是一个相当平庸的法学院学生”，细微差别是负责这项研究的教授乔纳森·蔡(Jonathan Choi)。
据记录，ChatGPT 的表现与管理考试来自宾夕法尼亚州沃顿商学院。尽管计算错误，AI通过考试获得B级。在某些方面，聊天机器人给出了完美的回应。
“ChatGPT 生成的文本没有语法错误或拼写错误。他还很好地组织了句子和段落，尽管是以正式的方式，带有介绍性句子和结论”，详细介绍了明尼苏达大学的研究。
为了获得这些结果，教师在问题中提供了尽可能多的信息和背景，特别是指定了使用的语气和风格。在法律考试期间，ChatGPT 被问及侵权、员工福利、税收和宪法等问题。总的来说，AI 响应了95 道多项选择题和12篇论文。
据老师们介绍，ChatGPT 的论文表现良好，论文结构清晰、条理清晰。聊天机器人演示了对法律规则有很好的理解最基本的。有几篇文章写得甚至非常完整。然而，人工智能的著作也并非没有缺陷。
“与真正的法律学生相比，他很难识别相关要素，并且经常仅肤浅地应用规则”，缓和了研究报告。
一个真正的数学问题
显然，ChatGPT 在根据问题的上下文调整其答案时遇到了困难，尤其是在问题非常开放的情况下。正如我们还注意到的那样，人工智能通常倾向于展开非常理论化的答案，就像一个学生把所有东西都背下来了，却没有真正理解材料。
老师们还注意到ChatGPT满足了数学中反复出现的问题。人工智能在税务考试中也没有通过，29 题中只有 8 题正确。他在上述管理考试中也遇到了类似的计算问题。
因此，法律专家认为，聊天机器人尚不能完全取代律师或法学家。如果他仍然无法提供完全可靠的法律建议，他可以在很大程度上协助律师在他的工作中。例如，ChatGPT 可以生成用于宣传的论证想法或背诵法律文本。
事实上，老师们更愿意在考试期间禁止 ChatGPT，以便避免作弊。自去年秋天上线以来，ChatGPT 已被世界各地的学生广泛使用。里昂的一位教授甚至意识到50% 的学生使用人工智能来做作业。
来源 ： SSRN
