แผน NIST สำหรับการประเมินอคติทางชีวภาพเพิ่มเติมที่เปิดเผยใน EAB Webinar

แม้จะมีผลกำไรที่สำคัญในการจับคู่ไบโอเมตริกซ์ในระบบการจดจำใบหน้าในทุกกลุ่มประชากรในช่วงหลายปีที่ผ่านมาแม้การวัดขอบเขตของปัญหาอคติยังคงเป็นสิ่งที่ท้าทายสมาคมชีวภาพยุโรปความยุติธรรมทางประชากรศาสตร์ (EAB's) 'ในเหตุการณ์เสมือนจริงของระบบไบโอเมตริกซ์

ในช่วงกลางเดือนมีนาคมของเหตุการณ์ Margherita Natali ของสำนักงานสหประชาชาติของการต่อต้านการก่อการร้ายพูดถึงบทบาทของชีวภาพในการจัดการความปลอดภัยชายแดนข้อสรุปของสหประชาชาติเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดที่แนะนำเกี่ยวกับการใช้และการแบ่งปันชีวภาพและความท้าทายของระบบชายแดนรวมถึงการจดจำใบหน้า เธอเน้นวิธีการตามสิทธิมนุษยชนในการใช้ไบโอเมตริกซ์ในการควบคุมชายแดน

Aythami Morales นำเสนอวิธีการเรียนรู้ของเครื่องจักรจากการรับรองความเป็นส่วนตัว- นอกจากนี้เขายังแสดงให้เห็นถึงความเป็นไปได้ในการปรับปรุงความแม่นยำสำหรับทุกกลุ่มจะต้องใช้แนวทางปฏิบัติ AI ที่รับผิดชอบซึ่งลดอคติ

Vincent Despiegel ofidemiaพูดคุยกันถึงวิธีการบรรเทาอคติรวมถึงฐานข้อมูลการฝึกอบรมที่สมดุล แต่ยังค้นหาฟังก์ชั่นการสูญเสียที่ถูกต้อง

Patrick Grotherของ NIST พูดถึงงานขององค์กรเกี่ยวกับความแตกต่างทางประชากรรายงานต่อไปซึ่งคาดว่าจะออกมาในเดือนพฤษภาคม 2564

ข้อมูลสรุปเกี่ยวกับความแตกต่างของประสิทธิภาพทางประชากรอาจรวมอยู่ในแท็บกระดานผู้นำ NIST FRVT ในอนาคต Grother กล่าว การใช้ตัวอย่างของอัลกอริทึม IDEMIA ซึ่งลดการปฏิเสธที่ผิดพลาดจาก 13 เปอร์เซ็นต์ในปี 2560 เป็น 0.4 เปอร์เซ็นต์ในปี 2564 เขาอธิบายผลกำไรที่น่าทึ่งในความแม่นยำในการรับรู้ใบหน้าในช่วงสี่ปีที่ผ่านมา

การอธิบายการกำเนิดของการสืบสวนของ NIST เกี่ยวกับอคติใน Biometrics Face, Grother ทบทวนจุดเริ่มต้นของการโต้เถียงกับ 'แถวตลอดเวลา' และ 'เฉดสีเพศ'การศึกษาและวิธีการของสถาบันในการหาปริมาณปัญหา

“ สิ่งที่เราต้องการทำคือใส่ความเฉพาะเจาะจงในตัวชี้วัดที่เกี่ยวข้อง” เขากล่าว “ ถ้ามีคนยืนยันว่าการจดจำใบหน้านั้นลำเอียงนั่นหมายความว่าอย่างไร?

วิธีการทั่วไปของการทำความเข้าใจการทดสอบนี้ซึ่งเป็นการเปรียบเทียบอัตราการไม่จับคู่ที่ผิดพลาดในอัตราการยอมรับเท็จที่กำหนดโดยเฉพาะนโยบายนั้นผิด Grother บอกผู้เข้าร่วมเหตุการณ์ แทนที่จะเป็นอัตราการจับคู่เท็จคงที่“ เราควรรายงานที่เกณฑ์คงที่สำหรับอัลกอริทึม” ความแตกต่างของทั้งอัตราการจับคู่ที่ผิดพลาดและอัตราการไม่จับคู่ที่ผิดพลาดเกิดขึ้น แต่ไม่ได้สะท้อนในสถิติที่ FMR เฉพาะ

ขั้นตอนการตั้งค่าเกณฑ์สำหรับ Biometrics ใบหน้าดูเหมือนจะมาจากการจับคู่ด้วยลายนิ้วมือ, grother สังเกต แต่การศึกษาของ NIST เกี่ยวกับผลกระทบของอายุที่มีต่อไบโอเมตริกซ์ใบหน้าย้อนกลับไปในปี 2560 แสดงให้เห็นถึงข้อ จำกัด ของวิธีการนี้

การทดสอบความแตกต่างด้านประชากรศาสตร์เมื่อเร็ว ๆ นี้แสดงให้เห็นว่าผู้คนไม่ได้จับคู่กับผู้อื่นจากส่วนต่าง ๆ ของโลก แต่มีแนวโน้มที่จะเข้าใจผิดว่าใครบางคนจากส่วนเดียวกันของโลก นอกจากนี้ผู้คนจากยุโรปมีโอกาสน้อยที่จะเข้าใจผิดด้วยอัลกอริทึมสำหรับผู้อื่นจากพื้นที่เดียวกันเมื่อเทียบกับผู้คนจากส่วนอื่น ๆ ของโลก อัลกอริทึมชั้นนำจากnuneแสดง FMRs ประมาณ 1 ใน 33,000 สำหรับชาวยุโรป แต่ 1 ใน 1,000 สำหรับชาวไนจีเรียและ 1 ใน 500 สำหรับชาวเกาหลี อัลกอริทึมอื่น ๆ แสดงให้เห็นถึงผลบวกที่ผิดพลาดต่ำกว่าซึ่งแนะนำคุณค่าของข้อมูลการฝึกอบรมที่แตกต่างกัน แต่บางตัวก็มีขนาดอคติที่สูงขึ้น

ความแตกต่างของ FNMR มีขนาดเล็กลง แต่ Grother สรุปว่าอัลกอริทึมทั้งหมดมีความแตกต่างทางประชากรและ ณ จุดนี้พวกเขาทำงานได้อย่างแม่นยำน้อยกว่าสำหรับผู้หญิง

งานของ Idiap บนไฟล์มาตรการความยุติธรรมทางชีวภาพขึ้นอยู่กับความแตกต่างของกรณีที่เลวร้ายที่สุดใน FMR และ FMNR ทำให้ภาคสนามมีความก้าวหน้าในฟิลด์ Grother แนะนำด้วย“ อัตราความแตกต่างที่ยุติธรรม” ที่คำนวณระหว่าง 0 ถึง 1 โดย 1 แสดงถึงความสมดุลที่สมบูรณ์แบบระหว่างข้อมูลประชากร NIST ได้พัฒนา 'การวัดความไม่เท่าเทียม' ซึ่งสร้างอัตราส่วน แต่จำเป็นต้องมีข้อมูลเพิ่มเติมเพื่อสร้างมาตรการที่มีประสิทธิภาพสำหรับ FNMR เนื่องจากความไม่แน่นอนในระดับสูงในอัตราความผิดพลาดและจำเป็นต้องมีการทำงานเพิ่มเติมในการรายงานอคติในอัลกอริทึม 1: N

นักพัฒนาหลายคนเริ่มต่อสู้กับปัญหาตามที่ NIST ตั้งใจไว้เมื่อรายงานว่า Grother กล่าวถึงแม้ว่าหลายคนไม่ได้

การตรวจสอบความเป็นธรรมทางประชากรศาสตร์ของ EAB ใน Biometrics ยังคงดำเนินต่อไปในสัปดาห์นี้ด้วยการนำเสนอโดย Yevgeniy Sirotin, Jacob Hasselgren และ John Howard จากโรงงานทดสอบแมริแลนด์ท่ามกลางผู้เชี่ยวชาญระดับนานาชาติอื่น ๆการอัปเดตไบโอเมตริกซ์ความคุ้มครองอย่างต่อเนื่อง