ด้วยการสนับสนุนโครงการวิจัยสถาบัน Cyber NYC ของ Google (IRP) ทีมนักวิจัยของ NYU Tandon School of Engineering นักวิจัยกำลังพัฒนาระบบการโต้ตอบที่ทำให้เกิดความท้าทายที่ชาญฉลาดเพื่อแยกความแตกต่างจากเสียงและวิดีโอ Deepfake ในระหว่างการโทรสด
นักวิจัยได้แสดงให้เห็นถึงวิธีการที่สามารถแก้ไขปัญหาความน่าเชื่อถือด้วยการวิเคราะห์ทางนิติวิทยาศาสตร์ทั่วไปในช่องทางการจัดจำหน่ายที่ซับซ้อน วิธีการของพวกเขา-การดำเนินการเพิ่มประสิทธิภาพการเพิ่มประสิทธิภาพร่วมกันของเครือข่ายการวิเคราะห์ทางนิติวิทยาศาสตร์และไปป์ไลน์การถ่ายภาพประสาท-ได้รับการปรับปรุงที่สำคัญในการตรวจจับการจัดการภาพถ่ายเพิ่มความแม่นยำจาก≈ 45 เปอร์เซ็นต์เป็น 90 เปอร์เซ็นต์
ระบบใช้สิ่งที่เรียกว่า "การตอบสนองต่อความท้าทาย" ซึ่งมีจุดมุ่งหมายที่จะ "แขนคนที่มีเครื่องมือเพื่อหลีกเลี่ยงการหลอกลวงและการกระทำที่ซ้ำซ้อนอื่น ๆ "
Chinmay Hegde รองศาสตราจารย์ด้านวิทยาศาสตร์คอมพิวเตอร์และวิศวกรรมศาสตร์และวิศวกรรมไฟฟ้าและคอมพิวเตอร์และวิศวกรรมคอมพิวเตอร์และเพื่อนร่วมงานหลายคนได้ตีพิมพ์เอกสารสองฉบับที่แนะนำและตรวจสอบเทคนิคใหม่สำหรับการตรวจจับเสียงและวิดีโอแบบเรียลไทม์
โครงการ NYU Tandon School of Engineering เรียกว่า Real-Time Deepfake Detection: Interactive, Multimodal และ Future-Propl เป็นเพียงหนึ่งในหลายโครงการที่ได้รับการสนับสนุนจากโครงการวิจัยสถาบันไซเบอร์ NYC ของ Google ซึ่งในเดือนมิถุนายน 2566จัดสรร$ 12 ล้านผ่าน Cyber NYC IRP เพื่อให้ทุนการฝึกอบรมด้านความปลอดภัยทางไซเบอร์การศึกษาและการวิจัยที่ทันสมัยที่ NYU, City University of New York, Columbia University และ Cornell Tech
เอกสารสองฉบับที่ตีพิมพ์โดย Hegde และเพื่อนร่วมงานของเขาคือGotcha: การตรวจจับวิดีโอแบบเรียลไทม์ผ่านการตอบสนองต่อความท้าทาย, และ,PITCH: AI AI-ASSISTED TAGGING ของการโทรด้วยเสียง DeepFake โดยใช้การตอบสนองต่อความท้าทาย-
ในบทความแรก Hegde และเพื่อนร่วมงานของเขากล่าวว่า Deepfakes แบบเรียลไทม์ (RTDFs) ของ AI-enabled (RTDFs)“ ได้ทำให้มันเป็นไปได้ที่จะแทนที่ใบหน้าของ imposter ด้วยเหยื่อของพวกเขาในการโต้ตอบวิดีโอสด” และ“ ความก้าวหน้าดังกล่าว
นักวิจัยกล่าวว่า“ เทคนิคการตรวจจับ Deepfake ที่มีอยู่นั้นมีความสัมพันธ์แบบอะซิงโครนัส
ทีมนักวิจัยอธิบายว่าพวกเขาประเมิน“ ตัวอย่างตัวแทนจากอนุกรมวิธานโดยการรวบรวมชุดข้อมูลที่ไม่ซ้ำกันซึ่งประกอบด้วยแปดความท้าทายซึ่งอย่างต่อเนื่องและลดคุณภาพของเครื่องกำเนิดไฟฟ้าลึกที่ทันสมัยอย่างเห็นได้ชัด
พวกเขากล่าวว่า“ ผลการวิจัยของพวกเขาเน้นย้ำถึงศักยภาพที่มีแนวโน้มของระบบตอบสนองต่อความท้าทายสำหรับการตรวจจับ Deepfake แบบเรียลไทม์ที่อธิบายได้และปรับขนาดได้ในสถานการณ์จริง”
ในการศึกษาแยกต่างหากเกี่ยวกับการใช้ RTDFs ในการโจมตีทางวิศวกรรมทางสังคมที่ใช้การแอบอ้างเสียงแบบเรียลไทม์เพื่อข้ามการรับรองความถูกต้องตามการลงทะเบียนแบบดั้งเดิมนักวิจัยเสนอใช้สิ่งที่พวกเขาเรียกว่าพิทช์ซึ่งพวกเขากล่าวว่าเป็น“ วิธีการตอบสนองการท้าทายที่แข็งแกร่งในการตรวจจับและติดแท็กการโทรเสียง Deepfake แบบอินเทอร์แอคทีฟ”
ทีมกล่าวว่าพวกเขา“ พัฒนาอนุกรมวิธานที่ครอบคลุมของความท้าทายด้านเสียงบนพื้นฐานของระบบการได้ยินของมนุษย์ภาษาศาสตร์และปัจจัยด้านสิ่งแวดล้อมให้ความท้าทายในอนาคต 20 สิ่งเหล่านี้ได้รับการทดสอบกับระบบการโคลนนิ่งเสียงชั้นนำ ในการเลือกสิบข้อท้าทายการทำงานที่สมดุลซึ่งสมดุลความปลอดภัยและการใช้งาน”
“ สำหรับการประเมินผลของมนุษย์และการวิเคราะห์ที่ตามมาเราได้กรองชุดย่อยที่ท้าทายและสมดุล” Hegde และทีมงานของเขากล่าว “ ในชุดย่อยนี้ผู้ประเมินผลของมนุษย์ได้คะแนนความแม่นยำ 72.6 เปอร์เซ็นต์อย่างอิสระในขณะที่เครื่องจักรประสบความสำเร็จ 87.7 เปอร์เซ็นต์ยอมรับว่าสภาพแวดล้อมการโทรต้องการการควบคุมของมนุษย์ที่สูงขึ้น
นักวิจัยรายงานว่า“ การรวมสัญชาตญาณของมนุษย์เข้ากับความแม่นยำของเครื่องจักรมีข้อได้เปรียบที่สมบูรณ์โซลูชันของเราให้ผู้ใช้ควบคุมได้สูงสุดและเพิ่มความแม่นยำในการตรวจจับให้กับ 84.5 เปอร์เซ็นต์หลักฐานจากการกระโดดในความแม่นยำ
เมื่อต้นปีที่ผ่านมาการศึกษาของ NYU Tandon อีกครั้งเปิดเผยความล้มเหลวของมาตรการที่มีอยู่เพื่อป้องกันการสร้างเนื้อหาที่ผิดกฎหมายโดยโมเดล AI แบบข้อความถึงภาพ ในบทความที่นำเสนอในการประชุมนานาชาติครั้งที่สิบสองเรื่องการเป็นตัวแทนการเรียนรู้ในเวียนนาในเดือนพฤษภาคมการหลีกเลี่ยงวิธีการลบแนวคิดสำหรับโมเดลการกำเนิดแบบข้อความถึงภาพทีมวิจัยแสดงให้เห็นว่าเทคนิคที่อ้างว่า“ ลบ” ความสามารถของแบบจำลองเช่นการแพร่กระจายที่เสถียรเพื่อสร้างเนื้อหาภาพที่ชัดเจนมีลิขสิทธิ์หรือไม่ปลอดภัยสามารถหลีกเลี่ยงได้ผ่านการโจมตีอย่างง่าย
“ โมเดลข้อความถึงภาพได้นำโลกไปด้วยพายุด้วยความสามารถในการสร้างฉากภาพจากคำอธิบายที่เป็นข้อความเพียงอย่างเดียว” Hegde กล่าว “ แต่นั่นเป็นการเปิดประตูให้กับผู้คนที่สร้างและแจกจ่ายรูปภาพที่มีความสมจริงซึ่งอาจเป็นการยักย้ายถ่ายเทอย่างล้ำลึกและผิดกฎหมายรวมถึงคนดัง Deepfakes หรือรูปภาพที่ละเมิดลิขสิทธิ์”
ในการศึกษาอื่นที่ตีพิมพ์ในการดำเนินการของการประชุมร่วมกันระหว่างประเทศ IEEE เกี่ยวกับ Biometrics Hegde และเพื่อนร่วมงานของเขาแสดงให้เห็นถึงเทคนิค AI ที่พวกเขาพัฒนาซึ่งสามารถเปลี่ยนอายุที่ชัดเจนของบุคคลในภาพในขณะที่ยังคงรักษาคุณสมบัติที่เป็นเอกลักษณ์ของพวกเขา
ศูนย์ความปลอดภัยทางไซเบอร์ของ NYU ที่ NYU Tandon พิจารณาการจัดสรรเงินทุนสำหรับโครงการวิจัยที่นำโดยคณะของ NYU
ในปีแรก NYU Tandon ได้เปิดตัวโครงการกระดานชนวนภายใต้การวิจัยของ Google Cyber NYC IRP ที่มีจุดประสงค์เพื่อช่วยปกป้องผู้คนจาก Deepfakes และสร้างความไว้วางใจในนวัตกรรมใหม่ที่อุตสาหกรรมพลังงานและชีวิตของผู้คน
“ วิสัยทัศน์ของเรากับบัญชีรายชื่อการวิจัยของ Google Cyber NYC IRP คือการส่งเสริมระบบนิเวศแบบไดนามิกที่สมดุลการสำรวจระยะยาวที่มีความทะเยอทะยานด้วยการศึกษาเชิงปฏิบัติที่เป็นเป้าหมาย” รองคณบดีอาวุโสของ Nyu Tandon Eray Aydil กล่าว “ เราสนับสนุนการทำงานร่วมกันแบบสหวิทยาการอย่างแข็งขันทั่วทั้งแผนกมหาวิทยาลัยและองค์กรวิจัยเพื่อยกระดับความเชี่ยวชาญที่หลากหลายในการจัดการกับความท้าทายที่ซับซ้อนจากหลายมุม”
พื้นที่การวิจัยเป้าหมายของ Google Cyber NYC IRP ในปีนี้เป็นคอมพิวเตอร์ที่เชื่อถือได้ AI ที่เชื่อถือได้ AI สำหรับการป้องกันความปลอดภัยทางไซเบอร์และวิทยาศาสตร์มนุษย์และสังคมศาสตร์
ในปีที่สอง Google Cyber NYC IRP มีเป้าหมายที่จะมุ่งเน้นไปที่การวิจัยร่วมกันในด้านความเป็นส่วนตัวความปลอดภัยและความปลอดภัย ศูนย์เพื่อความปลอดภัยทางไซเบอร์ของ NYU ได้เรียกร้องให้มีข้อเสนอทั่วทั้งโรงเรียนอีกครั้งขอเชิญชวนคณะให้ส่งแนวคิดการวิจัยของพวกเขา
หัวข้อบทความ
ความปลอดภัยทางไซเบอร์-การตรวจจับ deepfake-เฟลค์-การป้องกันการฉ้อโกง-AI Generative-Google-ข้อมูลสังเคราะห์
