ระบบจดจำใบหน้ามีความอยากข้อมูลการฝึกอบรมอย่างไม่มีที่สิ้นสุด แต่การใช้ใบหน้าของคนจริงๆ โดยไม่ได้รับความยินยอมทำให้เกิดข้อกังวลด้านจริยธรรมและความเป็นส่วนตัวช่วยได้ แต่ถึงอย่างนั้นก็มักจะอิงจากข้อมูลไบโอเมตริกซ์ของคนจริงๆ ใบหน้าที่สร้างขึ้นโดยใช้ไปป์ไลน์กราฟิกและไม่มีข้อมูลจริง เช่น ใบหน้าที่มีอยู่ในโอเพ่นซอร์สของ Microsoftดิจิเฟซ-1เอ็มชุดข้อมูล – ดูไม่จริงเพียงพอ
จะป้อนเครื่องจดจำใบหน้าโดยไม่ทำให้สิทธิความเป็นส่วนตัวเป็นส่วนหนึ่งของมื้ออาหารได้อย่างไร? นี่คือคำถามที่นักวิจัยจากสถาบันวิจัยไอเดียปออกเดินทางเพื่อตอบกับพวกเขาโครงการ, “Digi2Real: การเชื่อมช่องว่างความสมจริงในการจดจำใบหน้าด้วยข้อมูลสังเคราะห์ผ่านแบบจำลองพื้นฐาน”
งานนี้แนะนำ "กรอบการทำงานใหม่สำหรับการถ่ายโอนความสมจริงที่มุ่งเพิ่มความสมจริงของภาพใบหน้าที่สร้างขึ้นโดยสังเคราะห์" โดยใช้แบบจำลองรองพื้นใบหน้าขนาดใหญ่ เริ่มต้นด้วยชุดข้อมูล DigiFace-1M ซึ่งเป็นคอลเลกชันภาพใบหน้าสังเคราะห์ที่หลากหลายมากกว่าหนึ่งล้านภาพสำหรับการจดจำใบหน้า
“ด้วยการผสานรวมลักษณะที่ควบคุมได้ของไปป์ไลน์กราฟิกเข้ากับเทคนิคการปรับปรุงความสมจริงของเรา เราจึงสร้างรูปแบบที่สมจริงจำนวนมาก โดยผสมผสานข้อดีของทั้งสองวิธีเข้าด้วยกัน” นามธรรมกล่าว “การประเมินเชิงประจักษ์ของเราแสดงให้เห็นว่าแบบจำลองที่ได้รับการฝึกอบรมโดยใช้ชุดข้อมูลที่ปรับปรุงแล้วของเราช่วยปรับปรุงประสิทธิภาพของได้อย่างมากเกินกว่าพื้นฐาน
ชุดข้อมูลใบหน้าสังเคราะห์ Digi2Real ที่ได้ประกอบด้วยรูปภาพที่ไม่ซ้ำใคร 20,000 ภาพด้วยเทคนิคการถ่ายโอนความสมจริงที่นำไปใช้กับข้อมูลประจำตัวที่สร้างขึ้นตามขั้นตอนจากไปป์ไลน์กราฟิก "เพื่อสร้างภาพเสมือนจริงซึ่งมีประสิทธิภาพในการฝึกโมเดลการจดจำใบหน้ามากกว่าชุดข้อมูล DigiFace ดั้งเดิม"
กระบวนการนี้เกี่ยวข้องกับการ “สอดแทรกระหว่างรูปภาพหลายรูปของตัวตนภายในพื้นที่ฝัง” จากนั้นใช้รูปภาพที่ได้รับการฝึกอบรมล่วงหน้าArc2Faceแบบจำลองเพื่อ "สังเคราะห์ภาพที่สอดคล้องกับข้อมูลประจำตัวจากการฝังที่สอดแทรกเหล่านี้" จากนั้นจะปรับปรุงเพิ่มเติมโดยการลดช่องว่างโดเมนในพื้นที่ตัวเข้ารหัส CLIP ระดับกลาง
“โดยการรวมคุณสมบัติที่ควบคุมได้ของไปป์ไลน์กราฟิกเข้ากับเทคนิคการเพิ่มประสิทธิภาพความสมจริงของเรา เรานำเสนอแนวทางใหม่ในการสร้าง f ที่ควบคุมคุณลักษณะได้” นักวิจัยกล่าว และพวกเขามีตัวเลขสำรอง: การทดสอบแสดงให้เห็นว่า “ประสิทธิภาพการจดจำใบหน้าด้วยชุดข้อมูล Digi2Real ปรับปรุงอย่างมีนัยสำคัญเหนือ DigiFace และบรรลุประสิทธิภาพที่ดีกว่าชุดข้อมูลสังเคราะห์อื่น ๆ มากมาย”
ที่ชุดข้อมูล Digi2Realซึ่งมีรูปภาพ 399,355 ภาพจากบุคคลที่ไม่ซ้ำกัน 20,000 ภาพ และเผยแพร่ต่อสาธารณะ
หัวข้อบทความ
--------
