Google ได้เปิดตัวเครื่องกำเนิดปัญญาประดิษฐ์แบบข้อความที่ทันสมัย (AI) ที่เรียกว่า "Lumiere"นั่นจะปฏิวัติการสังเคราะห์การเคลื่อนไหวที่สมจริงและหลากหลายในวิดีโอ
โครงการที่พัฒนาโดย Google Research แนะนำสถาปัตยกรรม U-Net เวลาอวกาศที่ก้าวล้ำซึ่งออกแบบมาเพื่อสร้างระยะเวลาชั่วคราวที่สมบูรณ์ของวิดีโอในรูปแบบเดียว
"เราแนะนำ Lumiere-รูปแบบการแพร่กระจายแบบ text-to-video ที่ออกแบบมาสำหรับการสังเคราะห์วิดีโอที่แสดงให้เห็นถึงการเคลื่อนไหวที่สมจริงมีความหลากหลายและเชื่อมโยงกัน-ความท้าทายที่สำคัญในการสังเคราะห์วิดีโอในตอนนี้เราแนะนำสถาปัตยกรรม U-NET ในอวกาศเขียนไว้ในเอกสารของพวกเขา-
Google เปิดตัว lumiere
ซึ่งแตกต่างจากโมเดลวิดีโอที่มีอยู่ซึ่งสร้างคีย์เฟรมที่อยู่ไกลออกไปตามด้วยความละเอียดสูงชั่วคราว Lumiere ใช้วิธีการที่ไม่เหมือนใครทำให้ความสอดคล้องทางโลกทั่วโลกเป็นไปได้มากขึ้น
สถาปัตยกรรมรวมเอาการสุ่มตัวอย่างเชิงพื้นที่และเชิงเวลาและการสุ่มตัวอย่างแบบเพิ่มขึ้นพร้อมกับรูปแบบการแพร่กระจายข้อความไปยังภาพที่ผ่านการฝึกอบรมมาก่อน สิ่งนี้ช่วยให้ Lumiere สามารถสร้างวิดีโอที่มีความละเอียดต่ำและมีความละเอียดต่ำได้โดยตรงโดยการประมวลผลในระดับอวกาศหลายครั้ง
กรอบการสร้างข้อความสู่วิดีโอที่นำเสนอโดย Google Research แสดงให้เห็นถึงการก้าวกระโดดครั้งสำคัญในการสังเคราะห์วิดีโอ ด้วยการใช้รูปแบบการแพร่กระจายข้อความไปยังภาพที่ผ่านการฝึกอบรมมาล่วงหน้า
สถาปัตยกรรม U-Net เวลาอวกาศที่เป็นนวัตกรรมช่วยให้สามารถสร้างคลิปวิดีโอแบบเต็มเฟรมได้พร้อมแอพพลิเคชั่นตั้งแต่ภาพจนถึงวิดีโอและวิดีโอ Inpainting ไปจนถึงการสร้างเนื้อหาที่มีสไตล์
รุ่น T2I
การศึกษายอมรับข้อ จำกัด ระบุว่า Lumiere ไม่ได้ออกแบบมาเพื่อสร้างวิดีโอที่มีหลายนัดหรือฉากที่เกี่ยวข้องกับการเปลี่ยนแปลง จากข้อมูลของทีม Google กล่าวว่าแง่มุมนี้ยังคงเป็นความท้าทายที่เปิดกว้างสำหรับการวิจัยในอนาคต
นอกจากนี้โมเดลนี้สร้างขึ้นบนโมเดล Text-to-Image (T2I) ที่ทำงานในพื้นที่พิกเซลซึ่งจำเป็นต้องมีโมดูลความละเอียดสูงเชิงพื้นที่สำหรับการผลิตภาพความละเอียดสูง
แม้จะมีข้อ จำกัด เหล่านี้ แต่หลักการออกแบบของ Lumiere ก็ยังคงสัญญาสำหรับโมเดลการแพร่กระจายวิดีโอแฝง แต่จุดประกายลู่ทางที่มีศักยภาพสำหรับการสำรวจเพิ่มเติมในการพัฒนาแบบจำลองข้อความถึงวิดีโอ
วัตถุประสงค์หลักของ Lumiere คือการเพิ่มขีดความสามารถให้ผู้ใช้สามเณรในการสร้างเนื้อหาภาพอย่างสร้างสรรค์และยืดหยุ่น อย่างไรก็ตามนักวิจัยรับทราบถึงศักยภาพในการใช้ในทางที่ผิดโดยเน้นถึงความสำคัญของการพัฒนาเครื่องมือในการตรวจจับอคติและป้องกันกรณีการใช้งานที่เป็นอันตราย
การสร้างความมั่นใจว่าการใช้เทคโนโลยีนี้อย่างปลอดภัยและยุติธรรมถือว่าเป็นสิ่งสำคัญและเน้นย้ำถึงความมุ่งมั่นของ Google ในการพัฒนา AI ที่รับผิดชอบ โดยสรุป Lumiere ของ Google แสดงให้เห็นถึงความก้าวหน้าในการสร้างข้อความ AI แบบข้อความสู่วิดีโอนำเสนอวิธีการใหม่ในการสังเคราะห์การเคลื่อนไหวที่สมจริงและสอดคล้องกันในวิดีโอ
หลักการสถาปัตยกรรมและการออกแบบที่เป็นนวัตกรรมที่จัดแสดงในโครงการนี้เป็นขั้นตอนสำหรับความก้าวหน้าในเทคโนโลยีการสังเคราะห์วิดีโอโดยมุ่งเน้นไปที่การใช้งานและการใช้งานที่รับผิดชอบ
"เป้าหมายหลักของเราในงานนี้คือการเปิดใช้งานผู้ใช้มือใหม่ในการสร้างเนื้อหาภาพในวิธีที่สร้างสรรค์และยืดหยุ่นอย่างไรก็ตามมีความเสี่ยงในการใช้ในทางที่ผิดสำหรับการสร้างเนื้อหาปลอมหรือเป็นอันตรายด้วยเทคโนโลยีของเราและเราเชื่อว่ามันเป็นสิ่งสำคัญในการพัฒนาและใช้เครื่องมือสำหรับการตรวจจับอคติและกรณีการใช้งานที่เป็นอันตราย
