賓州華頓商學院的商學教授克里斯蒂安‧特爾維施(Christian Terwiesch)想要推動ChatGPT,OpenAI 的智慧聊天機器人,在它的壕溝裡。為了測試人工智慧的極限,這位學者決定對其進行管理考試。考試結束後,學生可以獲得工商管理碩士(MBA)。這是一個研究生文憑,提供行銷、財務和人力資源管理領域的就業前景。
ChatGPT 的精彩解釋
商學院教授認真問了所有考試問題在 ChatGPT …人工智慧的表現還不錯。根據 Christian Terwiesch 發布的報告,聊天機器人«在基本營運管理和流程分析問題(包括基於案例研究的問題)方面做出了令人難以置信的工作 »。
“不僅答案正確,而且解釋也非常好””,Christian Terwiesch 在詳細報告中解釋。
透過存取龐大的資料庫,人工智慧能夠生成適當的反應,儘管有時有複雜的陳述。聊天機器人擅長聚合一組數據並產生連貫的摘要。請注意,有些問題長達數十行,並且需要高級知識。對於其中一些問題,由於詳細且結構良好的答案,ChatGPT 甚至獲得了滿分。
令人驚訝的計算錯誤
同時,ChatGPT也承諾計算中的重大錯誤考試期間。考慮到人工智慧的相關反應,華頓商學院教授對以下結果感到驚訝:«六年級數學程度的相對簡單的計算中出現令人驚訝的錯誤 »。乍一看,大多數數學運算似乎都是合乎邏輯且合理的。經過仔細檢查,推理錯誤變得顯而易見。
此外,聊天機器人的能力也較差«更高階的過程分析問題 »。陳述喚起«多種產品的製程 »以及有關問題「需求的可變性 »給 ChatGPT 帶來了問題。存在的問題更複雜的因果效應也破壞了聊天機器人的智慧。
作為實驗的一部分,教授冒昧地偶爾提供有關 ChatGPT 的線索,就像他在與學生進行口語考試時所做的那樣。由於提供的線索,人工智慧很快就審查了它的副本並糾正了它的近似值:
“如果最初未能將問題與正確的解決方法相匹配,Chat GPT3 在收到人類專家的適當提示後能夠自行糾正。”
Christian Terwiesch 的觀察證實了我們對 ChatGPT 的看法。在目前的迭代中,OpenAI 的聊天機器人是促進某些任務的寶貴助手,或解開某些智力問題。然而,它還沒有完全取代人類的智力。情況也是如此DesignerBot,建立 PowerPoint 的 AI在你的地方。
正如商學教授指出的那樣,由於所提供的線索,人工智慧能夠快速發展。在需要協助解決問題後不久,ChatGPT 立即能夠產生理想的答案,無需提示。在一些互動中,聊天機器人將會進化:
“要么他能夠從過去的交流中學習,要么我只是運氣好。”
一次成功的考試
在分析了 ChatGPT 返回的副本後,教授問他榮獲B級。由於這個分數,學生可以避免參加機構內通常要求的營運管理課程。儘管存在錯誤,聊天機器人還是表現出了對材料的充分理解。他因此通過了考試,但並沒有取得驚人的成績:
「如果學生能夠在豁免考試中表現出對課程內容的掌握,我們允許他們豁免這門課程。上面報告的 Chat GPT3 性能足以通過豁免考試”。
另外,老師也玩得很開心設計考試題使用 ChatGPT。聊天機器人再次非常有效。他甚至在言論中加入了一些幽默,就像一個人一樣。
儘管如此,克里斯蒂安·特爾維施還是發現了問題中的兩個漏洞。由於某些未知的原因,ChatGPT 認為適合包括可有可無的軼事數據在問題中。這些不必要的元素可能會讓負責尋找數學挑戰解決方案的學生感到困惑。在其他情況下,人工智慧忽略了關鍵資訊。事實上,這個問題是無法回答的。再次強調,行動需要人類智慧的監督。
Opera One - AI 驅動的網頁瀏覽器
作者:歌劇
來源 : 華頓商學院