นักวิทยาศาสตร์เตือนโมเดลภาษาขนาดใหญ่ไม่เหมาะกับการใช้งานจริง แม้แต่การเปลี่ยนแปลงเล็กน้อยก็ทำให้โมเดลโลกพังทลายลง

กำเนิดระบบ (AI) อาจสามารถสร้างผลลัพธ์ที่ชัดเจนได้ แต่การวิจัยใหม่แสดงให้เห็นว่าระบบเหล่านี้ไม่มีความเข้าใจโลกและกฎเกณฑ์ที่แท้จริงที่สอดคล้องกัน

ในการศึกษาใหม่เผยแพร่ไปยังฐานข้อมูลก่อนการพิมพ์ของ arXiv นักวิทยาศาสตร์จาก MIT, Harvard และ Cornell พบว่าโมเดลภาษาขนาดใหญ่ (LLM) เช่นหรือมานุษยวิทยาไม่สามารถสร้างแบบจำลองพื้นฐานที่แสดงถึงโลกแห่งความเป็นจริงได้อย่างถูกต้อง

เมื่อได้รับมอบหมายให้จัดเตรียมเส้นทางการขับขี่แบบเลี้ยวต่อเลี้ยวในนิวยอร์กซิตี้ LLM สามารถส่งมอบเส้นทางเหล่านั้นด้วยความแม่นยำเกือบ 100% แต่แผนที่พื้นฐานที่ใช้นั้นเต็มไปด้วยถนนและเส้นทางที่ไม่มีอยู่จริงเมื่อนักวิทยาศาสตร์ดึงข้อมูลเหล่านั้นออกมา

นักวิจัยพบว่าเมื่อมีการเพิ่มการเปลี่ยนแปลงที่ไม่คาดคิดลงในคำสั่ง (เช่น ทางอ้อมและถนนที่ปิด) ความแม่นยำของทิศทางที่ LLM ให้ก็ลดลง ในบางกรณีก็ส่งผลให้เกิดความล้มเหลวโดยสิ้นเชิง ด้วยเหตุนี้ จึงทำให้เกิดความกังวลว่าระบบ AI ที่ใช้งานในสถานการณ์จริง เช่น ในรถยนต์ไร้คนขับ อาจทำงานผิดปกติเมื่อต้องเผชิญกับสภาพแวดล้อมหรืองานที่มีพลวัต

ที่เกี่ยวข้อง:

"ความหวังประการหนึ่งก็คือ เนื่องจาก LLM สามารถบรรลุสิ่งมหัศจรรย์ทั้งหมดนี้ในภาษาได้ บางทีเราอาจใช้เครื่องมือเดียวกันนี้ในส่วนอื่นๆ ของวิทยาศาสตร์ได้เช่นกัน แต่คำถามที่ว่า LLM กำลังเรียนรู้แบบจำลองโลกที่สอดคล้องกันหรือไม่นั้นมีความสำคัญมากหากเราต้องการ เพื่อใช้เทคนิคเหล่านี้ในการค้นพบสิ่งใหม่ๆ” ผู้เขียนอาวุโสกล่าวอาเชช รัมบาจันผู้ช่วยศาสตราจารย์ด้านเศรษฐศาสตร์และผู้ตรวจสอบหลักในห้องปฏิบัติการ MIT สำหรับระบบสารสนเทศและการตัดสินใจ (LIDS) ในคำแถลง-

หม้อแปลงหากิน

จุดสำคัญของ generative AI ขึ้นอยู่กับความสามารถของ LLM ในการเรียนรู้จากข้อมูลและพารามิเตอร์จำนวนมหาศาลไปพร้อมๆ กัน เพื่อที่จะทำสิ่งนี้พวกเขาต้องพึ่งพาโมเดลหม้อแปลงไฟฟ้าซึ่งเป็นชุดพื้นฐานของโครงข่ายประสาทเทียมที่ประมวลผลข้อมูลและเปิดใช้งานด้านการเรียนรู้ด้วยตนเองของ LLM กระบวนการนี้จะสร้างสิ่งที่เรียกว่า "แบบจำลองโลก" ซึ่ง LLM ที่ได้รับการฝึกอบรมสามารถใช้เพื่ออนุมานคำตอบและสร้างผลลัพธ์สำหรับการสืบค้นและงานต่างๆ

รับการค้นพบที่น่าสนใจที่สุดในโลกส่งตรงถึงกล่องจดหมายของคุณ

การใช้แบบจำลองโลกในทางทฤษฎีประการหนึ่งคือการนำข้อมูลจากการเดินทางด้วยรถแท็กซี่ไปทั่วเมืองเพื่อสร้างแผนที่โดยไม่จำเป็นต้องวางแผนทุกเส้นทางอย่างระมัดระวัง ตามที่เครื่องมือนำทางในปัจจุบันกำหนดไว้ แต่หากแผนที่นั้นไม่ถูกต้อง การเบี่ยงเบนที่เกิดขึ้นกับเส้นทางอาจทำให้การนำทางที่ใช้ AI มีประสิทธิภาพต่ำกว่าหรือล้มเหลว

เพื่อประเมินความถูกต้องและความเชื่อมโยงของ Transformer LLM เมื่อต้องทำความเข้าใจกฎและสภาพแวดล้อมในโลกแห่งความเป็นจริง นักวิจัยได้ทดสอบโดยใช้ปัญหาประเภทหนึ่งที่เรียกว่า Deterministic finite Automations (DFA) ปัญหาเหล่านี้เป็นปัญหาเกี่ยวกับลำดับสถานะ เช่น กฎของเกม หรือทางแยกในเส้นทางระหว่างทางไปยังจุดหมายปลายทาง ในกรณีนี้ นักวิจัยใช้ DFA ที่ดึงมาจากเกมกระดาน Othello และการนำทางไปตามถนนในนิวยอร์ก

เพื่อทดสอบหม้อแปลงด้วย DFA นักวิจัยได้พิจารณาตัวชี้วัดสองตัว ประการแรกคือ "การกำหนดลำดับ" ซึ่งจะประเมินว่า LLM หม้อแปลงไฟฟ้าได้สร้างแบบจำลองโลกที่สอดคล้องกันหรือไม่ หากเห็นสถานะที่แตกต่างกันสองสถานะในสิ่งเดียวกัน: กระดาน Othello สองกระดาน หรือแผนที่หนึ่งของเมืองที่มีการปิดถนน และอีกแผนที่หนึ่งไม่มีการปิดถนน ตัวชี้วัดที่สองคือ "การบีบอัดลำดับ" - ลำดับ (ในกรณีนี้คือรายการเรียงลำดับของจุดข้อมูลที่ใช้ในการสร้างเอาต์พุต) ซึ่งควรแสดงให้เห็นว่า LLM ที่มีแบบจำลองโลกที่สอดคล้องกันสามารถเข้าใจได้ว่าสถานะที่เหมือนกันสองสถานะ (เช่นบอร์ด Othello สองอันที่ เหมือนกันทุกประการ) มีลำดับขั้นตอนที่เป็นไปได้เหมือนกัน

การพึ่งพา LLM เป็นธุรกิจที่มีความเสี่ยง

มีการทดสอบ LLM ทั่วไปสองคลาสบนเมตริกเหล่านี้ คนหนึ่งได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่สร้างจากลำดับที่สร้างขึ้นแบบสุ่ม ในขณะที่อีกคนหนึ่งได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่สร้างโดยการปฏิบัติตามกระบวนการเชิงกลยุทธ์

นักวิทยาศาสตร์พบว่าหม้อแปลงไฟฟ้าที่ได้รับการฝึกโดยใช้ข้อมูลแบบสุ่มทำให้เกิดแบบจำลองโลกที่แม่นยำยิ่งขึ้น นี่อาจเป็นเพราะ LLM เห็นขั้นตอนที่เป็นไปได้ที่หลากหลายมากขึ้น ผู้เขียนนำเคยอน วาฟานักวิจัยจาก Harvard อธิบายในแถลงการณ์ว่า "ใน Othello ถ้าคุณเห็นคอมพิวเตอร์สุ่มสองเครื่องเล่นแทนที่จะเป็นผู้เล่นระดับแชมป์ ในทางทฤษฎีคุณจะเห็นการเคลื่อนไหวที่เป็นไปได้ทั้งหมด แม้แต่การเคลื่อนไหวที่ไม่ดี ผู้เล่นระดับแชมป์ก็ไม่ทำ ” ด้วยการเห็นการเคลื่อนไหวที่เป็นไปได้มากขึ้น แม้ว่าการเคลื่อนไหวนั้นจะแย่ก็ตาม ตามทฤษฎีแล้ว LLM ก็พร้อมที่จะปรับตัวให้เข้ากับการเปลี่ยนแปลงแบบสุ่มได้ดีขึ้น

อย่างไรก็ตาม แม้จะสร้างการเคลื่อนที่ของ Othello ที่ถูกต้องและทิศทางที่แม่นยำ แต่มีหม้อแปลงเพียงตัวเดียวที่สร้างแบบจำลองโลกที่สอดคล้องกันสำหรับ Othello และทั้งสองประเภทก็สร้างแผนที่นิวยอร์กที่แม่นยำ เมื่อนักวิจัยแนะนำสิ่งต่างๆ เช่น ทางอ้อม โมเดลการนำทางทั้งหมดที่ LLM ใช้ล้มเหลว

"ฉันรู้สึกประหลาดใจที่ประสิทธิภาพลดลงอย่างรวดเร็วทันทีที่เราเพิ่มทางเบี่ยง ถ้าเราปิดถนนเพียง 1 เปอร์เซ็นต์ ความแม่นยำจะลดลงทันทีจากเกือบ 100 เปอร์เซ็นต์ เหลือเพียง 67 เปอร์เซ็นต์" Vafa กล่าวเสริม

นี่แสดงให้เห็นว่าจำเป็นต้องมีแนวทางที่แตกต่างกันในการใช้ LLM เพื่อสร้างแบบจำลองโลกที่แม่นยำ นักวิจัยกล่าว แนวทางเหล่านี้อาจไม่ชัดเจน แต่จะเน้นย้ำถึงความเปราะบางของ Transformer LLM เมื่อต้องเผชิญกับสภาพแวดล้อมแบบไดนามิก

“บ่อยครั้งที่เราเห็นโมเดลเหล่านี้ทำสิ่งที่น่าประทับใจ และคิดว่าพวกเขาคงเข้าใจอะไรบางอย่างเกี่ยวกับโลกนี้” แรมบาจันกล่าวสรุป “ฉันหวังว่าเราจะโน้มน้าวผู้คนได้ว่านี่เป็นคำถามที่ต้องคิดให้รอบคอบ และเราไม่จำเป็นต้องพึ่งพาสัญชาตญาณของตัวเองในการตอบคำถาม”