การตรวจสอบ Face Biometric สามารถเป็นเครื่องมือที่มีประสิทธิภาพสำหรับการตรวจสอบตัวตนระยะไกล แต่หลายระบบยังคงมีปัญหาบางอย่างที่ต้องทำงานตามการวิจัยจากกระทรวงความมั่นคงแห่งมาตุภูมิของสหรัฐอเมริกา
การสัมมนาผ่านเว็บจาก DHS '' Science & Technology Directorate (S&T) ผลการแบ่งปันจากขั้นตอนที่สองของการสาธิตเทคโนโลยีการตรวจสอบความถูกต้องของข้อมูลประจำตัวระยะไกล (RIVTD- Rivtd Track 2 ประเมินความสามารถในการจับคู่เซลฟี่กับภาพที่รวมอยู่ในเอกสาร
การทดสอบดำเนินการที่โรงงานทดสอบรัฐแมรี่แลนด์ (MDTF) แสดงให้เห็นว่าระบบหลายระบบมีปัญหาในการสกัดเทมเพลตไบโอเมตริกซ์จากเอกสาร ID ซึ่งมักจะดิ้นรนกับภาพใบหน้าหมุน ในบรรดาระบบที่มีประสิทธิภาพมากขึ้นประสิทธิภาพการใช้งาน Biometrics นั้นสอดคล้องกันในประเภทสมาร์ทโฟนระดับการควบคุมเซลฟี่และข้อมูลประชากร แต่การตั้งค่าเกณฑ์ตามเป้าหมาย FMR ทำให้เกิดความท้าทายในกรณีส่วนใหญ่
S&T เปิดตัวมันการประเมินผลสำหรับการติดตาม 3, การประเมินความสามารถในการตรวจจับแผ่นหรือความสามารถในการตรวจจับของตัวเซลฟี่ไบโอเมตริกส์เมื่อต้นปีที่ผ่านมา
ที่อยู่ช่องว่างการประเมิน
การวิเคราะห์ได้ดำเนินการเพื่อจัดการกับความขาดแคลนใน“ ข้อมูลอิสระที่มีวัตถุประสงค์เกี่ยวกับวิธีการดำเนินการของระบบ” อรุณ Vemury กล่าวในภาพรวมเบื้องต้น การประเมินที่ดำเนินการและเผยแพร่ทำให้“ ยากที่จะทำการเปรียบเทียบแอปเปิ้ลกับแอปเปิ้ลในระบบที่แตกต่างกันและการใช้งานที่แตกต่างกันเพราะไม่มีกระบวนการทดสอบที่ยอดเยี่ยมมากมายที่ทุกอย่างถูกตรวจสอบกับเกณฑ์มาตรฐานเดียวกัน”
การทดสอบประสิทธิภาพและความเป็นธรรมของระบบเป็นเรื่องยากสำหรับอุตสาหกรรมเขาตั้งข้อสังเกตว่าส่วนหนึ่งเป็นเพราะการทดสอบระดับการเข้าถึงการเข้าถึงอย่างมากเพื่อให้มีประสิทธิภาพ
John Howard ตรวจสอบแทร็กการจับคู่ไบโอเมตริกซ์เซลฟี่ข้อมูลที่ใช้และคุณสมบัติของระบบ
“ หนึ่งในเหตุผลนี้มีระยะเวลาที่ยืดออกเมื่อเทียบกับการทดสอบอื่น ๆ ที่เราทำคือในช่วงฤดูร้อนปี 2566 ชุดข้อมูลเพื่อประเมินระบบการจับคู่กับเอกสารไม่มีอยู่จริง” เขากล่าว “ ไม่มีใครมีชุดเอกสาร ID และเซลฟี่แต่ละชุดจากคนเดียวกัน”
S&T ทดสอบการตรวจสอบความถูกต้องของตัวตนระยะไกลกับอาสาสมัคร 1,633 คนซึ่งแต่ละคนให้การควบคุมหนึ่งภาพและภาพเซลฟี่ที่ไม่สามารถควบคุมได้หนึ่งภาพกับสมาร์ทโฟนรุ่นสุดท้ายสามรุ่นที่แตกต่างกันในช่วงการรวบรวมข้อมูลคู่หนึ่งเมื่อเดือนพฤษภาคมและกันยายน อาสาสมัครเป็นตัวแทนของเพศอายุและเชื้อชาติที่แตกต่างกัน ชุดข้อมูลเพิ่มเติมตามยาวของการเปรียบเทียบที่ไม่ใช่แบบผสมถูกประเมินเพื่อคำนวณอัตราการจับคู่เท็จ (FMR)
ผู้ขายที่ส่งในคอนเทนเนอร์ Docker ที่ใช้ Linux พร้อมแอปพลิเคชันเซิร์ฟเวอร์ซึ่งเรียกใช้ออฟไลน์เพื่อปกป้องความเป็นส่วนตัวของผู้เข้าร่วม มีผู้ขาย 18 รายที่ใช้กับการเข้าร่วม 16 รายได้รับการยอมรับและ 10 รายเป็นไปได้สำหรับการประเมินทั้งหมด S&T เชื่อว่าผู้ขายเหล่านั้นซึ่งได้รับนามแฝงในผลลัพธ์เป็นตัวแทนของสถานะของศิลปะในการจับคู่ไบโอเมตริกซ์
ผลลัพธ์ที่แปรปรวนและปัญหาทั่วไป
ผู้ขายทั้ง 16 รายสามารถสกัดเทมเพลตไบโอเมตริกซ์จากเซลฟี่และ 13 คนสามารถแยกเทมเพลตจากเอกสาร ID อย่างน้อยครึ่งหนึ่งซึ่งพิสูจน์ได้ว่าเป็นงานที่ยากขึ้น โหลสามารถเปรียบเทียบเทมเพลตจากภาพถ่ายสดและเอกสาร ID ได้สำเร็จ แต่สองคนมีอัตราการไม่จับคู่เท็จ (FNMRs) สำหรับคู่ของแท้สูงกว่า 90 เปอร์เซ็นต์
ความล้มเหลวในการสกัดอัตรา (FTXR) สำหรับเซลฟี่โดยทั่วไปต่ำ - ต่ำกว่า 1 เปอร์เซ็นต์สำหรับ 14 จาก 16 ระบบ - แม้ว่าความแปรปรวนบางอย่างจะถูกสังเกตด้วยเซลฟี่ที่ไม่มีการควบคุม โทรศัพท์ที่ใช้ (Apple iPhone 14, Samsung Galaxy S22, Google Pixel 7) มีผลกระทบน้อยที่สุดต่ออัตราการสกัด สำหรับเอกสาร FTXR สูงสำหรับ 3 ระบบที่ผิดปกติในขณะที่ 6 จาก 16 มี FTXR ต่ำกว่า 1 เปอร์เซ็นต์ iPhone ใช้มีแนวโน้มที่จะส่ง FTXR ต่ำกว่าสมาร์ทโฟน Samsung ที่ใช้และเอกสารจากรัฐต่าง ๆ มีรูปแบบบางอย่าง
เมื่อพูดถึงการจับคู่ค่ามัธยฐาน FNMR อยู่ที่ประมาณ 0.2 เปอร์เซ็นต์
ด้วยเซลฟี่ที่ควบคุมได้ FTXR มักจะต่ำในทุกกลุ่มประชากร Yevgeniy Sirotin อธิบาย การรวมกันทั้งหมด แต่สี่จาก 48 ชุดของระบบไบโอเมตริกซ์และสมาร์ทโฟนได้รับมาตรฐาน 1 เปอร์เซ็นต์สำหรับกลุ่มประชากรทั้งหมดและอัตราความผิดพลาดเฉลี่ยอยู่ที่ 0 เปอร์เซ็นต์ ชุดค่าผสมบางอย่างมีแนวโน้มอัตราความผิดพลาดที่โดดเด่นในกลุ่มประชากรบางกลุ่ม
เซลฟี่ที่ไม่สามารถควบคุมได้นั้นมีความท้าทายมากขึ้นเล็กน้อยโดยมี 41 จาก 48 ชุดที่มีการประชุม 1 เปอร์เซ็นต์ อัตราความผิดพลาดเฉลี่ยยังคงเป็น 0 เปอร์เซ็นต์ แต่มีข้อผิดพลาดมากขึ้นด้วยชุดค่าผสมสำหรับผู้ชายคนที่มีอายุมากกว่า 60 ปีและผู้ที่มีโทนสีผิวที่มืดที่สุด
ที่ขั้นตอนการจับคู่ไบโอเมตริกซ์ 23 จาก 30 ชุดค่าเข้ากันได้รับมาตรฐาน 1 เปอร์เซ็นต์ FNMR สำหรับภาพที่ควบคุม แต่ค่ามัธยฐาน FNMR อยู่ระหว่าง 0 เปอร์เซ็นต์ถึง 0.35 เปอร์เซ็นต์สำหรับผู้เข้าร่วมผิวดำ สำหรับภาพที่ไม่สามารถควบคุมได้ 25 จาก 30 ชุดได้ตรงตามมาตรฐาน แต่เป็นอาสาสมัครในกลุ่มอายุ 31-45 ที่มีค่ามัธยฐานสูงสุด FNMR ที่ 0.19 เปอร์เซ็นต์
อัตราการจับคู่ที่ผิดพลาด (FMR) ถูกตั้งค่าที่ 1 ใน 10,000 สอดคล้องกับข้อกำหนดการเข้ามาสำหรับการตรวจสอบสิทธิ์ในอัปเดต NIST SP 800-63B-
S&T ยืนยัน FMR ด้วยชุดข้อมูลตามยาวโดยใช้ทั้งตัวกระตุ้นแบบสุ่มและ imposters ที่ตรงกับประชากร มีการกำหนดระยะเวลาบางอย่างขึ้นอยู่กับความแปรปรวนระหว่างชุดข้อมูล แต่ถึงแม้จะมีระบบเพียงไม่กี่ระบบที่อยู่ในช่วงที่คาดหวัง สำหรับนักต้มตุ๋นแบบสุ่ม 4 จาก 14 มี FMRs สูงกว่าที่คาดไว้สามเท่าหรือมากกว่าและอีก 5 ครั้งมี FMRs ต่ำกว่าที่คาดไว้สามเท่า สำหรับนักต้มตุ๋นที่จับคู่กันทางประชากร 10 คนนั้นได้รับอนุญาตมากกว่าและ 2 คนนั้นอนุรักษ์นิยมมากขึ้นในขณะที่มีเพียง 2 ตัวเท่านั้นที่อยู่ในช่วงที่คาดหวัง
“ ตามกฎของหัวแม่มือเราจะเห็นว่า imposters ของเพศเชื้อชาติและอายุที่ใกล้เคียงกันจริง ๆ แล้วเพิ่มอัตราการจับคู่ที่ผิดพลาดประมาณ 10 ปัจจัย” Sirotin กล่าว นั่นหมายถึงเป้าหมาย FMR ลดลงสิบเท่าเมื่อเทียบกับ imposters แบบสุ่มอาจเป็นกลยุทธ์ที่ดีเมื่อไม่มีข้อมูลทางประชากรศาสตร์
มีระบบไบโอเมตริกซ์เพียงระบบเดียวจาก 16 รายการที่ได้รับการวัดประสิทธิภาพทั้งหมดแม้ว่าจะพลาดไปอีกสองครั้งเท่านั้นด้วยความปลอดภัยแบบอนุรักษ์นิยม (FMR) มากกว่าที่คาดไว้ อีกตัวหนึ่งมี FMR ที่ได้รับอนุญาตมากกว่า แต่เป็นไปตามเป้าหมาย
หัวข้อบทความ
การจับคู่ไบโอเมตริกซ์-การทดสอบไบโอเมตริกซ์-ไบโอเมตริกซ์-DHS-DHS S&T-ใบหน้าชีวภาพ-โรงงานทดสอบแมริแลนด์ (MDTF)-การสาธิตเทคโนโลยีการตรวจสอบความถูกต้องของตัวตนระยะไกล (RIVTD)-ไบโอเมตริกซ์เซลฟี่
