NIST ค้นหาข้อเสนอแนะเกี่ยวกับการวัดอคติไบโอเมตริกซ์

อคติใน Face Biometrics ลดลงเนื่องจากนักพัฒนาอัลกอริทึมมุ่งเน้นความพยายามของพวกเขาตามผลการทดสอบล่าสุดจากสถาบันมาตรฐานและเทคโนโลยีแห่งชาติของสหรัฐอเมริกา อย่างไรก็ตามพวกเขาได้รับการปรับปรุงมากแค่ไหนนั้นยากที่จะวัดได้

ร่างของการทดสอบผู้ขายการจดจำใบหน้า NIST (FRVT) ตอนที่ 8: การสรุปความแตกต่างทางประชากรได้รับการตีพิมพ์เพื่อแสดงความคิดเห็นโดยหน่วยงานกำลังมองหาวิธีที่จะปรับปรุงการวัดความแปรปรวนของความแม่นยำทางชีวภาพระหว่างกลุ่มของวิชา

เอกสารส่วนใหญ่ได้รับการอธิบายสถิติต่าง ๆ ที่ใช้ในการวัดอคติและข้อดีและข้อ จำกัด ของวิธีการที่แตกต่างกันในการทำเช่นนั้น รายงานก่อนหน้าเกี่ยวกับความแตกต่างด้านประชากรศาสตร์FRVT ตอนที่ 3มีความแตกต่างที่ต่ำมากในอัลกอริทึมที่แม่นยำที่สุด แต่การเปลี่ยนแปลงโดยรวมอย่างมีนัยสำคัญ

มีสามมาตรการที่เรียกว่า 'เกณฑ์การวัดความเป็นธรรมการทำงาน (FFMC)' แนะนำโดย John Howard, Eli Laird, Yevgeniy Sirotin, Rebecca Rubin, Jerry Tipton และ Arun Vemury จาก Theสิ่งอำนวยความสะดวกทดสอบแมริแลนด์- NIST เพิ่มอีกสอง แต่พบว่าไม่มีใครเหมาะสมอย่างสมบูรณ์แบบที่จะแสดงผลการทดสอบอย่างชัดเจน

NIST ยังนำเสนอวิธีจัดการกับการเปรียบเทียบระหว่างค่าอัตราความผิดพลาดต่ำ ซึ่งรวมถึงความท้าทายเช่นวิธีหลีกเลี่ยงการแนะนำว่าอัลกอริทึมที่ส่งคืนอัตราความผิดพลาดใกล้ศูนย์สำหรับประชากรหนึ่งกลุ่มและยังต่ำ แต่อัตราความผิดพลาดที่ค่อนข้างสูงกว่าสำหรับอีกคนหนึ่งนั้นแย่กว่าอัลกอริทึมซึ่งมีความแม่นยำน้อยกว่าสำหรับทั้งคู่

การวัด 'Max/Geomean' ถูกระบุว่าเป็นผู้สมัครชั้นนำและนำเสนอในผลการทดสอบที่ตีพิมพ์

ผลลัพธ์ของผู้ขายมีการแชร์โดย NIST โดยมีอัตราการไม่จับคู่เท็จสูงสุด (FNMR) และอัตราการจับคู่เท็จ (FMR) แต่ละอัตราเมื่อเทียบกับอัตราเฉลี่ยเรขาคณิต ผลของ 1 หมายถึงความเท่าเทียมกัน ผลลัพธ์ FNMR MAX/GEOMEAN เกือบทั้งหมดระหว่าง 1 ถึง 2 ในขณะที่ FMR MAX/GEOMEAN แตกต่างกันไปตลอดทางจากมากกว่า 6 ถึง 300 เล็กน้อย

การวิจัย NIST ในอนาคตจะใช้การทดสอบแบบเดียวกันกับระบบไบโอเมตริกซ์ 1: N (ระบุ) และ ANมาตรฐาน ISOอยู่ในระหว่างการพัฒนา

Corsight เรียกร้องความเป็นผู้นำในการลดอคติ

Corsight AIได้รับอัตราการจับคู่ที่ผิดพลาดที่เท่าเทียมกันสำหรับวิชาชายและหญิงระหว่างกลุ่มทดสอบขาวดำตามการประกาศของ บริษัท

อัลกอริทึมของ บริษัท ทำคะแนน 1.01 FNMR Max/Geomean และ 20.63 FMR Max/Geomean ในการอัปเดตผลการทดสอบเดือนกรกฎาคม 2565

NIST ยังใช้อัลกอริทึมจาก CorsightClearview AI-คิวบ็อกซ์-DeepGlint-idemia-nuneและการพยากรณ์เป็นตัวอย่างในการเปรียบเทียบอัตราความผิดพลาดกับข้อมูลประชากรที่แตกต่างกันเมื่อเทียบกับวิชายุโรปตะวันออก

“ เราตื่นเต้นเพราะนี่เป็นอีกก้าวหนึ่งในการตอบโต้การอ้างว่าอคติกำลังสร้างความเสียหายให้กับประสิทธิภาพของเทคโนโลยีการจดจำใบหน้า” โทนี่พอร์เตอร์หัวหน้าเจ้าหน้าที่ความเป็นส่วนตัวของคอร์นส์กล่าว “ ข้อโต้แย้งที่ว่าซอฟต์แวร์การจดจำใบหน้าไม่สามารถเป็นธรรมได้ถูกแช่แข็งในเวลาและประสิทธิภาพของการส่งล่าสุดของคอร์นท์แสดงให้เห็นว่า”