ChatGPT ผ่านการสอบการจัดการ แต่ก็ยังห่วยในวิชาคณิตศาสตร์

ChatGPT เพิ่งผ่านการสอบการจัดการระดับมหาวิทยาลัย แม้จะมีข้อผิดพลาดในการคำนวณที่น่าอัศจรรย์ แต่ปัญญาประดิษฐ์ก็ผ่านการทดสอบ

Christian Terwiesch ศาสตราจารย์ด้านธุรกิจที่ Wharton School of Business ในรัฐเพนซิลเวเนีย ต้องการผลักดันChatGPT, แชทบอทอัจฉริยะ d'OpenAIในสนามเพลาะของมัน เพื่อทดสอบขีดจำกัดของปัญญาประดิษฐ์ นักวิชาการจึงตัดสินใจทำข้อสอบการจัดการ เมื่อสิ้นสุดการสอบนี้ นักเรียนจะได้รับ aบริหารธุรกิจมหาบัณฑิต (MBA)- หลักสูตรนี้เป็นอนุปริญญาระดับสูงกว่าปริญญาตรีที่เปิดโอกาสการจ้างงานในสาขาการตลาด การเงิน และการจัดการทรัพยากรมนุษย์

อ่านเพิ่มเติม:“ไม่มีอะไรที่จะปฏิวัติวงการได้” – Yann LeCun ผู้บุกเบิก AI ชาวฝรั่งเศส ไม่ประทับใจกับ ChatGPT

คำอธิบายที่ยอดเยี่ยมของ ChatGPT

อาจารย์ธุรกิจอย่างมีสติถามคำถามข้อสอบทั้งหมดที่ ChatGPT... และปัญญาประดิษฐ์ก็ไม่ได้แย่นัก ตามรายงานที่เผยแพร่โดย Christian Terwiesch แชทบอท-ทำงานได้อย่างเหลือเชื่อกับคำถามเกี่ยวกับการจัดการการปฏิบัติงานขั้นพื้นฐานและการวิเคราะห์กระบวนการ รวมถึงคำถามที่อิงตามกรณีศึกษา »-

“ไม่เพียงแต่คำตอบที่ถูกต้องเท่านั้น แต่คำอธิบายยังยอดเยี่ยมอีกด้วย”, อธิบาย Christian Terwiesch ในรายงานโดยละเอียด

ด้วยการเข้าถึงฐานข้อมูลขนาดใหญ่ ปัญญาประดิษฐ์จึงสามารถสร้างได้การตอบสนองที่เหมาะสมแม้ว่าบางครั้งจะมีข้อความที่ซับซ้อนก็ตาม แชทบอทสามารถรวบรวมชุดข้อมูลและสร้างข้อมูลสรุปที่สอดคล้องกันได้ดี โปรดทราบว่าคำถามบางข้อมีความยาวหลายสิบบรรทัดและต้องใช้ความรู้ขั้นสูง สำหรับคำถามเหล่านี้บางข้อ ChatGPT ยังได้รับคะแนนเต็มด้วยคำตอบที่ละเอียดและมีโครงสร้างที่ดี

ข้อผิดพลาดในการคำนวณที่น่าประหลาดใจ

ขณะเดียวกัน ChatGPT ก็มุ่งมั่นเช่นกันข้อผิดพลาดขั้นต้นในการคำนวณในระหว่างการสอบ เมื่อพิจารณาคำตอบที่เกี่ยวข้องของ AI ศาสตราจารย์ Wharton ก็รู้สึกประหลาดใจกับสิ่งนี้-ข้อผิดพลาดที่น่าประหลาดใจในการคำนวณที่ค่อนข้างง่าย ในระดับคณิตศาสตร์ชั้นประถมศึกษาปีที่ 6 »- เมื่อมองแวบแรก การดำเนินการทางคณิตศาสตร์ส่วนใหญ่ดูสมเหตุสมผลและเป็นไปได้ เมื่อตรวจสอบอย่างใกล้ชิด ข้อผิดพลาดในการให้เหตุผลจะปรากฏชัดเจน

นอกจากนี้ แชทบอทยังแสดงให้เห็นว่าตัวเองมีความสามารถน้อยกว่าอีกด้วย-ไปยังคำถามเกี่ยวกับการวิเคราะห์กระบวนการขั้นสูงเพิ่มเติม »- คำพูดที่ปลุกเร้า-การไหลของกระบวนการที่มีผลิตภัณฑ์หลายรายการ -และปัญหาเกี่ยวกับ“ความแปรปรวนของอุปสงค์ -ทำให้เกิดปัญหากับ ChatGPT ปัญหาที่เกิดกับผลกระทบเชิงสาเหตุที่ซับซ้อนมากขึ้นยังบ่อนทำลายความฉลาดของแชทบอทอีกด้วย

ส่วนหนึ่งของการทดลองนี้ ศาสตราจารย์ได้ถือเอาเสรีภาพของเสนอเบาะแสให้ ChatGPT เป็นครั้งคราวเหมือนอย่างที่เขาทำตอนสอบปากเปล่ากับนักเรียน ด้วยเบาะแสที่ให้ไว้ AI จึงสามารถจัดการตรวจสอบสำเนาและแก้ไขการประมาณได้อย่างรวดเร็ว:

“ในกรณีที่ในตอนแรกไม่สามารถจับคู่ปัญหากับวิธีการแก้ไขที่ถูกต้อง Chat GPT3 สามารถแก้ไขตัวเองได้หลังจากได้รับคำแนะนำที่เหมาะสมจากผู้เชี่ยวชาญที่เป็นมนุษย์”

การสังเกตของ Christian Terwiesch ยืนยันความคิดเห็นของเราเกี่ยวกับ ChatGPT ในการทำซ้ำปัจจุบัน chatbot ของ OpenAI คือผู้ช่วยอันทรงคุณค่าเพื่ออำนวยความสะดวกในงานบางอย่างหรือปลดบล็อกปัญหาทางปัญญาบางอย่าง อย่างไรก็ตาม มันยังไม่สามารถแทนที่สติปัญญาของมนุษย์ได้ทั้งหมด นี่เป็นกรณีของDesignerBot AI ที่สร้าง PowerPointsในสถานที่ของคุณ

ดังที่ศาสตราจารย์ด้านธุรกิจชี้ให้เห็น AI มีความสามารถในการพัฒนาอย่างรวดเร็วด้วยเบาะแสที่ให้ไว้ หลังจากต้องการความช่วยเหลือในการแก้ปัญหาได้ไม่นาน ChatGPT ก็สามารถสร้างคำตอบที่เหมาะสมได้ทันทีโดยไม่ต้องมีคำใบ้ ในการโต้ตอบไม่กี่ครั้ง แชทบอทก็จะพัฒนาขึ้น:

“ทั้งเขาสามารถเรียนรู้จากการแลกเปลี่ยนในอดีต หรือฉันแค่โชคดี”

การสอบที่ประสบความสำเร็จ

หลังจากวิเคราะห์สำเนาที่ ChatGPT ส่งคืนมา ศาสตราจารย์ก็บอกเขาได้รับรางวัลเกรด B- ด้วยคะแนนนี้ นักศึกษาจึงสามารถหลีกเลี่ยงการเข้าร่วมหลักสูตรการจัดการการปฏิบัติงาน ซึ่งโดยทั่วไปเป็นหลักสูตรบังคับภายในสถาบัน แม้จะมีข้อผิดพลาด แต่แชทบอตก็แสดงให้เห็นถึงความเข้าใจที่เพียงพอในเนื้อหา เขาจึงสอบผ่านแต่กลับไม่ได้รับผลอันน่าทึ่ง:

“เราอนุญาตให้นักเรียนสละสิทธิ์หลักสูตรนี้ได้หากพวกเขาสามารถแสดงให้เห็นถึงความเชี่ยวชาญในเนื้อหาในการสอบสละสิทธิ์ ประสิทธิภาพ Chat GPT3 ที่รายงานข้างต้นเพียงพอที่จะผ่านการสอบสละสิทธิ์”-

นอกจากนี้อาจารย์ยังสนุกสนานอีกด้วยคำถามสอบการออกแบบโดยใช้ ChatGPT อีกครั้ง chatbot มีประสิทธิภาพมาก เขายังรวมอารมณ์ขันเล็กๆ น้อยๆ ไว้ในข้อความด้วย เหมือนมนุษย์

อย่างไรก็ตาม Christian Terwiesch ระบุช่องว่างสองประการในคำถาม ด้วยเหตุผลที่ไม่ทราบสาเหตุ ChatGPT จึงเห็นว่าเหมาะสมที่จะรวมไว้ข้อมูลที่สามารถจ่ายได้และประวัติย่อในคำถาม องค์ประกอบที่ไม่จำเป็นเหล่านี้อาจทำให้นักเรียนที่ได้รับมอบหมายให้ค้นหาวิธีแก้ปัญหาทางคณิตศาสตร์สับสนได้ ในกรณีอื่นๆ AI จะมองข้ามข้อมูลที่สำคัญ โดยพฤตินัยแล้ว ไม่สามารถตอบปัญหาได้ อีกครั้ง ปฏิบัติการจำเป็นต้องได้รับการดูแลจากสติปัญญาของมนุษย์