明尼蘇達大學法學院的教授將智力聊天GPT。 OpenAI 的聊天機器人的任務是回答四門考試的問題該機構的。
隨後，人工智慧產生的答案與其他學生的答案混合在一起。透過這種方式，老師們能夠盲目評估回覆的品質由 ChatGPT 提供。因此，人工智慧的評估方式與任何其他有抱負的律師相同。
一個平庸的學生
借助機器學習，聊天機器人成功通過了法律考試。它實際上繼承了C+等級，即平庸，但還過得去。顯然，ChatGPT 並沒有因為遠遠優於其他學生而創造奇蹟。平均而言，其他學生確實能夠獲得B+。然而，所產生的反應足以獲得文憑。
«單獨來看，ChatGPT 會是一個相當平庸的法學院學生”，細微差別是負責這項研究的教授喬納森·蔡(Jonathan Choi)。
根據記錄，ChatGPT 的表現與管理考試來自賓州華頓商學院。儘管計算錯誤，AI透過考試獲得B級。在某些方面，聊天機器人給了一個簡單完美的答案。
「ChatGPT 產生的文字沒有語法錯誤或拼字錯誤。他還很好地組織了句子和段落，儘管是以正式的方式，帶有介紹性句子和結論”，詳細介紹了明尼蘇達大學的研究。
為了獲得這些結果，教師在問題中提供了盡可能多的信息和背景，特別是指定了使用的語氣和風格。在法律考試期間，ChatGPT 被問及侵權、員工福利、稅收和憲法等問題。總的來說，AI 響應了95 道多項選擇題和12篇論文。
據老師介紹，ChatGPT 的論文表現良好，論文結構清晰、條理清晰。聊天機器人示範了對法律規則有很好的理解最基本的。有幾篇文章寫得甚至非常完整。然而，人工智慧的著作也並非沒有缺陷。
“與真正的法律學生相比，他很難識別相關要素，並且經常僅膚淺地應用規則”，緩和了研究報告。
一個真正的數學問題
顯然，ChatGPT 在根據問題的上下文調整其答案時遇到了困難，尤其是在問題非常開放的情況下。正如我們還注意到的那樣，人工智慧通常傾向於展開非常理論化的答案，就像一個學生把所有東西都背下來了，卻沒有真正理解材料。
老師們也注意到ChatGPT滿足了數學中反覆出現的問題。人工智慧在稅務考試中也沒有通過，29 題中只有 8 題正確。
因此，法律專家認為，聊天機器人尚不能完全取代律師或法學家。如果他仍然無法提供完全可靠的法律建議，他可以在很大程度上協助律師在他的工作中。例如，ChatGPT 可以產生用於倡導或背誦法律文本的論證想法。
事實上，老師們更願意在考試期間禁止 ChatGPT，以便避免作弊。自去年秋天上線以來，ChatGPT 已被世界各地的學生廣泛使用。里昂的一位教授甚至意識到50% 的學生使用人工智慧來做作業。
來源 ： SSRN
