Deepfake Detection เป็นหนึ่งในหัวข้อหลักที่ตรวจสอบในการประชุมเชิงปฏิบัติการล่าสุดจากสมาคมยุโรปเพื่อชีวภาพเกี่ยวกับการจัดการใบหน้า ใบหน้า morphing และอัตลักษณ์สังเคราะห์เป็นประเภทภัยคุกคามหลักอื่น ๆ ที่กล่าวถึงในระหว่างการแข่งขัน
ที่คนจัดกิจกรรมเสมือนจริงสองวันที่มีการบรรยายจากสถาบันการศึกษาสถาบันวิจัย Idiapและคนชรา-
'การจัดการและตรวจจับใบหน้าดิจิตอลคู่มือใช้เป็นแนวทางโดย EAB ในการจัดประชุมเชิงปฏิบัติการ
นอกเหนือจากการอภิปรายเกี่ยวกับไฟล์ผลกระทบทางสังคมและจริยธรรมของ Deepfakes ชุดของการนำเสนอแนะนำวิธีในการระบุพวกเขา ข้อเสนอแนะแสดงเส้นทางการวิจัยที่มีแนวโน้มหลายอย่าง แต่ยังมีความท้าทายและข้อ จำกัด ทั่วไป
ทบทวนการคุกคาม Deepfakes
การประชุมเชิงปฏิบัติการเริ่มต้นด้วยการนำเสนอคู่หนึ่งเกี่ยวกับการจัดการใบหน้าและผลกระทบต่อระบบไบโอเมตริกซ์
การโฟกัส Deepfake เริ่มต้นขึ้นอย่างจริงจังกับ Pavel Korshunov จาก IDIAP ที่ตรวจสอบภัยคุกคามที่พวกเขาก่อให้เกิดทั้งคนและระบบอัตโนมัติ
Korshunov ให้ตัวอย่างของ Deepfakes ล่าสุดและตรวจสอบฐานข้อมูลของ Deepfakes ที่มีให้สำหรับนักวิทยาศาสตร์ที่ทำงานเกี่ยวกับการตรวจจับ
เขามองหาข้อเรียกร้องเกี่ยวกับวิธีที่ผู้คนรับรู้ว่า Deepfakes มีวิดีโอลึก ๆ จากผู้ที่นำเสนอคนที่มี“ ใบหน้าที่ละลาย” ไปจนถึงการปลอมที่ยากต่อการฉาย เปอร์เซ็นต์ของคนที่สามารถระบุ deepfakes ในหมวดหมู่ 'ง่ายมาก' ได้อย่างถูกต้องใกล้เคียงกับ 100 เปอร์เซ็นต์ แต่ถึงแม้จะเป็นหมวดหมู่ 'ง่าย' มากกว่า 20 เปอร์เซ็นต์ของผู้ที่ถามว่าวิดีโอนั้นเป็นของปลอมนั้นเป็นคำตอบที่ผิดหรือไม่
สำหรับหมวดหมู่ 'ยากมาก' เกือบหนึ่งในสี่ให้คำตอบที่ถูกต้องด้วยความมั่นใจ ประมาณ 7 ในสิบผู้ตอบแบบสอบถามมีทั้งความไว้วางใจและผิด
วิดีโอจริงส่วนใหญ่ถูกระบุเช่นนี้ แต่ไม่สม่ำเสมอเช่นเดียวกับ deepfakes คุณภาพต่ำมาก
จากนั้น Korshunov ได้ตรวจสอบอัลกอริทึมที่มีอยู่และพบว่าชุดข้อมูลการฝึกอบรมมีความสำคัญมากกว่ารุ่นเฉพาะ สองรุ่นที่ผ่านการฝึกอบรมเกี่ยวกับ Celeb-DF ล้มเหลวอย่างเต็มที่ในการตรวจจับวิดีโอ Deepfake รุ่นเดียวกันนี้ประสบความสำเร็จมากขึ้นเมื่อได้รับการฝึกฝนกับ Google แต่ไม่สามารถตรวจจับ Deepfakes จำนวนมากในหมวดหมู่ 'ง่ายมาก'
จากนั้นเขาก็ย้ายไปที่วิธีการทั่วไปปัญหาที่ได้รับการยอมรับอย่างดีในการตรวจจับ Deepfake สามารถปรับปรุงได้ การทำฟาร์มข้อมูลได้แสดงให้เห็นถึงสัญญาบางอย่างในเรื่องนี้เช่นเดียวกับ 'การฝึกอบรมไม่กี่นัด' และการฝึกอบรมเพื่อการระบุแหล่งที่มา
แนวทางอัตโนมัติ
Julian Fierrez แห่ง UAM แนะนำการตรวจจับ Deepfake ตามการประเมินอัตราการเต้นของหัวใจ การประเมินอัตราการเต้นของหัวใจระยะไกลมีความก้าวหน้าอย่างมากในช่วงไม่กี่ปีที่ผ่านมาเขากล่าวเนื่องจากการวิจัยสำหรับการใช้งานที่แตกต่างกันหลายครั้ง
โมเดล Deepfakes-Phys ได้รับการพัฒนาโดยการปรับและการฝึกอบรมแบบจำลองที่มีอยู่รวมการวิเคราะห์ลักษณะและการเคลื่อนไหวของผู้เข้าร่วม พื้นที่ 99.9 เปอร์เซ็นต์ภายใต้เส้นโค้งและอัตราความแม่นยำระดับเฟรมที่ 98.7 เปอร์เซ็นต์แสดงให้เห็นว่าวิธีนี้บ่งชี้ว่าวิธีนี้มีประสิทธิภาพสูงกว่าวิธีการที่ทันสมัยล่าสุด
แน่นอนว่าหากเทคนิคการผลิต Deepfake เริ่มคำนึงถึงข้อมูลทางสรีรวิทยาที่เกี่ยวข้องกับอัตราการเต้นของหัวใจหรือการไหลเวียนของเลือดเทคนิคจะมีประสิทธิภาพน้อยลง
Abhijit Das จาก Bits Pilani นำเสนอสถาปัตยกรรมเครือข่ายประสาท 3D Convolutional และกลไกความสนใจสำหรับการตรวจจับ
จุดเน้นของเทคนิคการตรวจจับปลอมที่ล้ำสมัยที่สุดในข้อมูลเชิงพื้นที่ทำให้เกิดเบาะแสที่มีค่า Das กล่าว เมื่อพิจารณาถึงกลไกความสนใจที่แตกต่างกันทีมของ DAS พบว่าการเพิ่ม“ บล็อกที่ไม่ใช่ท้องถิ่น” เพิ่มประสิทธิภาพ
โดยรวมแล้ววิธีการดังกล่าวมีแนวโน้มมาก DAS กล่าว แต่จำเป็นต้องมีการทำงานมากขึ้นในการทำความเข้าใจและบูรณาการกลไกความสนใจรวมถึงการตรวจจับ deepfakes ที่ทำด้วยเทคนิคการจัดการข้าม
Huy Nguyen จาก NII แสดงให้เห็นถึงความเป็นไปได้ในการใช้เครือข่ายแคปซูล-ฟอร์จิญซ์สำหรับการตรวจจับ Deepfakes เขาเริ่มต้นด้วยการชี้ให้เห็นถึงการเพิ่มขึ้นอย่างมากของทรัพยากรที่จำเป็นเนื่องจากประสิทธิภาพของ CNNS ได้รับการปรับปรุงโดยการขยายความลึกความกว้างขนาดหรือจำนวนการใช้งาน
ในเครือข่ายแคปซูลแต่ละแคปซูลเป็นซีเอ็นเอ็นที่เรียนรู้การเป็นตัวแทนโดยเฉพาะพร้อมข้อตกลงระหว่างแคปซูลที่แสดงถึงความถูกต้องของภาพอินพุต
การออกแบบดั้งเดิมไม่ได้มีประสิทธิภาพสำหรับการตรวจจับ Deepfake แต่เหงียนและนักวิจัยเพื่อนของเขาได้ออกแบบเครือข่ายแคปซูลสำหรับการใช้งานทางนิติวิทยาศาสตร์ด้วยการกำหนดเส้นทางแบบไดนามิก เครือข่ายเริ่มระบุภูมิภาคที่มีการจัดการในวิดีโอ
การทดสอบโมเดลแคปซูล 'แสง' และ 'เต็ม' ด้วยโมดูล 3 และ 10 โมดูลตามลำดับแสดงให้เห็นว่าการรวมทางสถิติช่วยเพิ่มความแม่นยำในการตรวจจับในขณะที่ลดจำนวนพารามิเตอร์ที่ใช้
ในขณะที่การวางนัยทั่วไปยังคงเป็นสิ่งที่ท้าทายและการจัดการกับภาพที่มีคุณภาพต่ำหรือการอธิบายผลลัพธ์นั้นยาก แต่ระดับความแม่นยำมาถึงแสดงให้เห็นว่าแบบจำลองน้ำหนักเบายังคงมีประสิทธิภาพในการตรวจจับ Deepfakes
Liming Jiang แห่ง NTU ส่งคำพูดคุยเกี่ยวกับชุดข้อมูล Deeperforensics ซึ่งประกอบด้วยวิดีโอ 60,000 วิดีโอหนึ่งชิ้นปลอมหนึ่งตัวอย่างสำหรับทุกห้าตัวอย่างจริง
ชุดข้อมูลมีข้อดีหลายประการนอกเหนือจากขนาด อาสาสมัครได้รับความยินยอมทั้งหมดการจับกุมจะถูกควบคุมและการก่อกวนที่นำเสนอมีการผสมและมีอยู่ในจำนวนที่สูงขึ้น
เจียงยังนำเสนอผลลัพธ์ของความท้าทาย Deeperforensics 2020 ซึ่งเขาเป็นผู้จัดงาน การส่งหลายครั้งแสดงให้เห็นถึงสัญญาในการตรวจจับ Deepfakes ที่มองไม่เห็นก่อนหน้านี้
การใช้รูปแบบข้อมูลหลายอย่างสำหรับการตรวจจับ Deepfake ถูกนำเสนอโดย Edward J. Delp แห่ง Purdue
วิธีการของเขาเกี่ยวข้องกับการตรวจจับใบหน้าและการปลูกพืชด้วยเครือข่ายประสาทแบบ cascaded cascaded cascaded, การสกัดคุณลักษณะและจากนั้นน้ำหนักใบหน้าอัตโนมัติ หน่วยการกำเริบของ Gated (GRU) ประมวลผลคุณสมบัติที่แยกออกมาพร้อมกับ logits ที่ทำนายไว้และการรวมถ่วงน้ำหนัก เครือข่ายเสริมที่เหมือนกับเครือข่ายหลักมองข้ามไหล่เพื่อประเมินข้อผิดพลาด
เช่นเดียวกับวิธีการอื่น ๆ ข้างต้นหลายวิธีนี้ส่งผลให้เกิดความแม่นยำสูงกว่า 90 เปอร์เซ็นต์และสูงกว่าวิธีการเปรียบเทียบมาก
DELP ยังนำเสนอวิธีการที่เสนอสำหรับการตรวจจับเสียงสังเคราะห์โดยใช้ spectrograms เพื่อแสดงภาพขนาดความถี่ของสัญญาณเสียงพูดเมื่อเวลาผ่านไปสำหรับการวิเคราะห์ด้วย CNN
ในที่สุดวิธีการจับคู่หน่วยเสียง (หน่วยเสียง) และ visemes (การเคลื่อนไหวของริมฝีปาก) ในวิดีโอและเพื่อเปรียบเทียบอารมณ์ที่แสดงในส่วนภาพและเสียงของวิดีโอได้รับการพิจารณา
ปัญหาของการวางนัยทั่วไปดูเหมือนจะใหญ่ที่สุดในชุมชนโดยเฉพาะอย่างยิ่งเมื่อมีโอกาสที่ deepfakes ที่คุกคามมากที่สุดจะเป็นนวนิยาย ด้วยทีมนักวิจัยต่างประเทศหลายคนอย่างต่อเนื่องเพื่อดำเนินการตามแนวทางที่หลากหลายดูเหมือนว่าจะมีพื้นที่สำหรับการมองโลกในแง่ดีว่าในไม่ช้ามันจะเป็นไปได้ที่จะออก Deepfakes ทันทีที่พวกเขาผลิต
หัวข้อบทความ
ไบโอเมตริกซ์-การวิจัยทางชีวภาพ-การตรวจจับ deepfake-เฟลค์-คน-สมาคมชีวภาพแห่งยุโรป-ใบหน้าชีวภาพ
