ChatGPT, Gemini, Copilot และเครื่องมือ AI อื่นๆ จะสร้างประโยคและย่อหน้าที่น่าประทับใจโดยใช้ข้อความแจ้งเพียงบรรทัดเดียว เพื่อสร้างคำเหล่านั้น แบบจำลองภาษาขนาดใหญ่ที่ซ่อนอยู่นั้นได้รับการฝึกฝนเกี่ยวกับข้อความจำนวนหนึ่งที่เขียนโดยมนุษย์และคัดลอกมาจากอินเทอร์เน็ต แต่ขณะนี้ เนื่องจากเครื่องมือ AI เจนเนอเรชั่นทำให้อินเทอร์เน็ตเต็มไปด้วยเนื้อหาสังเคราะห์จำนวนมาก เนื้อหาดังกล่าวจึงถูกนำมาใช้เพื่อฝึกอบรม AI เหล่านั้นรุ่นอนาคต หากสิ่งนี้ยังคงไม่ถูกตรวจสอบ ก็อาจเป็นหายนะได้ นักวิจัยกล่าว
ฝึกอบรมโมเดลภาษาขนาดใหญ่ด้วยข้อมูลของตนเองอาจนำไปสู่การล่มสลายของโมเดลได้นักวิทยาศาสตร์คอมพิวเตอร์แห่งมหาวิทยาลัยออกซ์ฟอร์ด Ilia Shumailov และเพื่อนร่วมงานโต้เถียงกันเมื่อเร็ว ๆ นี้ธรรมชาติ-
การล่มสลายของโมเดลฟังดูน่าตกใจ แต่ไม่ได้หมายความว่า generative AI จะหยุดทำงาน การตอบสนองของเครื่องมือจะก้าวไปไกลจากข้อมูลการฝึกอบรมเดิมแทน แม้ว่าบางครั้งจะมีอคติ แต่ข้อมูลต้นฉบับนั้นก็เป็นตัวแทนความเป็นจริงได้ดี แต่ในขณะที่เครื่องมือฝึกฝนข้อมูลที่สร้างขึ้นเอง ข้อผิดพลาดเล็กๆ น้อยๆ ที่พวกเขาทำก็เพิ่มมากขึ้น เนื้อหาของพวกเขาก็สูญเสียความแตกต่างของมุมมองที่หลากหลายและแปรเปลี่ยนเป็นคำพูดที่ไม่มีความหมายในที่สุด
นั่นคือสิ่งที่ Shumailov และเพื่อนร่วมงานค้นพบ ทีมงานได้นำโมเดลภาษาที่ได้รับการฝึกฝนมาล่วงหน้าเรียกว่าOPT-125mและป้อนบทความ Wikipedia จำนวนมากเพื่อปรับแต่งการตอบกลับ จากนั้นทีมงานก็ส่งข้อความแจ้งเครื่องมือนี้และขอให้คาดการณ์ว่าจะเกิดอะไรขึ้นต่อไป การตอบสนองของมันถูกป้อนกลับเข้าไปในโมเดลเพื่อการปรับแต่งเพิ่มเติม เมื่อแต่ละรุ่นที่ต่อเนื่องกันได้รับการฝึกอบรมด้วยข้อมูลที่สร้างขึ้นจากรุ่นก่อนหน้า พวกเขาพบว่าในรุ่นที่เก้า โมเดลดังกล่าวกำลังพ่นเรื่องไร้สาระออกมา สิ่งที่เริ่มต้นจากการแจ้งให้ทราบเกี่ยวกับสถาปัตยกรรมสมัยศตวรรษที่ 14 กลายเป็นรายชื่อประเภทของกระต่ายแจ็กแรบบิท ในการทดลองอีกชุดหนึ่ง เมื่อทีมเก็บข้อมูลดั้งเดิมบางส่วนไว้ การลดลงของแบบจำลองก็มีน้อยมาก
การศึกษานี้แสดงให้เห็นว่าการฝึก AI ตามการตอบสนองของตัวเองจะมีผลกระทบร้ายแรง รวมถึงการทำให้อคติรุนแรงขึ้นและการเปลี่ยนข้อความให้กลายเป็นเรื่องไร้สาระ หากปล่อยทิ้งไว้โดยไม่ตรวจสอบ บริษัท AI ขนาดใหญ่มีวิธีป้องกันการล่มสลายประเภทนี้ แต่เมื่อผู้คนเริ่มใช้โมเดลภาษาเพื่อฝึกแชทบอทและ AI อื่น ๆ ของตนเองมากขึ้น ก็อาจเกิดผลที่ตามมาตามมา
โมเดลภาษาและ AI เชิงสร้างสรรค์นั้นมีมานานหลายทศวรรษแล้ว โดยส่วนใหญ่อยู่ในห้องปฏิบัติการวิทยาศาสตร์คอมพิวเตอร์- แต่ความโดดเด่นของแชทบอทนั้นเพิ่งเกิดขึ้นใหม่ โดยเริ่มตั้งแต่เดือนพฤศจิกายน 2022 เมื่อ ChatGPT เปิดตัวสู่สาธารณะ การผสมผสานระหว่างฮาร์ดแวร์ที่ดีกว่าซึ่งสามารถประมวลผลข้อมูลแบบคู่ขนาน บวกกับการเกิดขึ้นของหม้อแปลงไฟฟ้า โครงข่ายประสาทเทียมประเภทหนึ่ง และความพร้อมใช้งานของจุดข้อมูลคุณภาพสูงที่มนุษย์สร้างขึ้นหลายล้านล้านจุด ถือเป็นกุญแจสำคัญในการครอบงำนี้
“สิ่งที่การล่มสลายของแบบจำลองบ่งชี้ว่าบางทีคุณภาพของข้อมูล (ทั้งเข้าและออก) กำลังจะลดลง” Shumailov กล่าว
สิ่งที่เริ่มต้นจากการแจ้งให้ทราบเกี่ยวกับสถาปัตยกรรมสมัยศตวรรษที่ 14 กลายเป็นรายชื่อประเภทของกระต่ายแจ็กแรบบิท
เพื่อทำความเข้าใจว่าทำไม ลองจินตนาการถึงการอธิบายให้โปรแกรมคอมพิวเตอร์ฟังว่าแมวคืออะไร ชูไมลอฟกล่าว “เราไม่รู้จริงๆ ว่า [ต้องทำอย่างไร] … ดังนั้นเราจึงยกตัวอย่าง [คำอธิบายข้อความ] ให้กับ [LLM] ว่าแมวคืออะไร จากนั้นเราขอให้แบบจำลองเรียนรู้ที่จะนิยามสิ่งมีชีวิตนี้” LLM ดำเนินการดังกล่าวโดยปราศจากการกำกับดูแลหรือคำแนะนำที่ชัดเจน โดยการอนุมานจากชุดข้อสังเกตที่กำหนด
แต่การคาดการณ์ดังกล่าวมาพร้อมกับข้อผิดพลาดที่ลึกซึ้ง ชูไมลอฟเปรียบเสมือนเกมโทรศัพท์ โดยวลีหนึ่งจะกระซิบจากคนหนึ่งไปยังอีกคนหนึ่งจนกว่าจะถึงคนสุดท้ายจึงพูดออกมาดัง ๆ วลีต้นฉบับมักจะจบลงอย่างเลวร้ายเนื่องจากมีข้อผิดพลาดเกิดขึ้นระหว่างทาง สิ่งนี้ทำให้การสร้างเนื้อหาที่น่าเชื่อถือซึ่งยังไม่ถูกต้องนัก (SN: 1/2/24-
หากมีการใช้เนื้อหาที่ผิดพลาดดังกล่าวในการฝึกโมเดลเวอร์ชันใหม่กว่าหรือโมเดลอื่นโดยสิ้นเชิง เนื้อหานั้นจะเริ่มมีอิทธิพลต่อกระบวนการเรียนรู้ของโมเดลเหล่านั้น และ "ทำลาย" โมเดลเหล่านั้นในทางใดทางหนึ่งในที่สุด
โมเดล AI จะล่มสลายในชีวิตจริงอย่างไร?
การล่มสลายของโมเดลโดยพื้นฐานแล้วหมายถึงการเปลี่ยนจากข้อความต้นฉบับที่ใช้ในการฝึกโมเดล Leqi Liu นักวิจัยด้าน AI จากมหาวิทยาลัยเท็กซัสในออสตินกล่าว เหตุผลประการหนึ่งคือการหายไปของส่วนท้ายการกระจายข้อมูล ซึ่งเป็นข้อความที่แสดงถึงเหตุการณ์ความน่าจะเป็นต่ำ ตัวอย่างเช่น เมื่อใช้ตัวอย่างแมว โมเดลอาจอธิบายแมวขนฟูได้ดีมาก แต่ไม่สามารถเก็บข้อมูลเกี่ยวกับแมวไม่มีขนได้
อีกตัวอย่างหนึ่ง Liu กล่าวคือ ผู้คนจากชนกลุ่มน้อยอาจแสดงสิ่งต่าง ๆ ออกไป และข้อความประเภทนั้นก็จะปรากฏขึ้นน้อยลงเรื่อยๆ และกีดกันข้อมูลที่เกี่ยวข้องกับคนชายขอบมากขึ้น นั่นคือการเปลี่ยนแปลงที่เราน่าจะเห็นในฐานะผู้ใช้ปลายทาง เอฟเฟกต์ดาวน์สตรีมจะเป็นเนื้อหาที่สร้างโดย AI ไม่เพียงเท่านั้นขยายอคติดังที่การศึกษาแสดงให้เห็น แต่ก็เริ่มฟังดูเหมือนกันเช่นกัน “โดยธรรมชาติแล้ว เราอาจต้องการการแสดงออกที่หลากหลายของตัวเราเอง แต่หากเราใช้ผู้ช่วยเขียนคนเดียวกัน นั่นอาจลดความหลากหลายนั้นได้”
เพื่อป้องกันไม่ให้ AI เพิ่มอคติหรือทำลายและพูดพล่อยๆ สิ่งสำคัญคือต้องติดตามข้อมูลทั้งหมดและตรวจสอบให้แน่ใจว่าความรู้เดิม (รวมถึงข้อความที่มนุษย์สร้างขึ้น) รวมถึงความรู้ใหม่ (ข้อความที่สร้างโดย AI) ถูกนำมาใช้ในการฝึกอบรม หลิวพูดว่า โดยพื้นฐานแล้ว แนวคิดก็คือไม่ฝึกโมเดลใหม่ๆ ด้วยข้อมูลที่สร้างโดย AI เท่านั้น “อีกวิธีหนึ่งอาจเป็นได้ว่าเราต้องแน่ใจว่าได้จับส่วนท้ายของการกระจายอย่างชัดเจน” เช่น แมวไม่มีขน เป็นต้น
เนื่องจากบริษัทต่างๆ ที่ทำการตลาดเครื่องมือ AI จะตรวจสอบการเคลื่อนตัวของข้อมูลอย่างหนัก ปัญหาใดๆ ก็ตามจะถูกตรวจพบตั้งแต่เนิ่นๆ และสามารถแก้ไขได้ ดังนั้นความเป็นไปได้ที่โมเดลจะล่มสลายไม่น่าจะส่งผลกระทบต่อผู้ใช้ดาวน์สตรีม Shumailov กล่าว แต่บุคคลที่พยายามสร้างแบบจำลองในขนาดที่เล็กกว่าจะได้รับผลกระทบอย่างแน่นอนและจำเป็นต้องตระหนักถึงความเสี่ยง
