นักวิจัยกล่าวถึงข้อเท็จจริงที่เกี่ยวข้องกับเรื่องเล่าของสื่อเกี่ยวกับการจดจำใบหน้า 'อคติ'

“ ประสิทธิภาพไบโอเมตริกซ์นั้นเหมาะสมและไม่สามารถลดลงเป็นภาพรวมเช่น 'อคติ' ได้”อ่านบทความ LinkedIn โดย Yevgeniy Sirotin, PhD, นักวิทยาศาสตร์หลักและผู้จัดการอาวุโสของ SAIC ซึ่งระบุว่าการวิจัยอย่างพิถีพิถันของระบบไบโอเมตริกซ์ที่ดำเนินการโดยบุคคลที่สามผ่านการตรวจสอบโดยเพื่อน ในขณะเดียวกัน ACLU ได้ตีพิมพ์การศึกษาเพื่อมีส่วนร่วมในการเล่าเรื่องสื่อ Sirotin กำลังโต้เถียงกัน

บทความของ Sirotin เกิดขึ้นหลังจากที่สื่อหลายแห่งได้เขียนเกี่ยวกับการจดจำใบหน้า 'อคติ' และผลกระทบเชิงลบการโต้เถียงเทคโนโลยีทำให้เกิดข้อผิดพลาดและไม่ทำงานอย่างมีประสิทธิภาพสำหรับกลุ่มประชากรที่แตกต่างกัน Sirotin เป็นส่วนหนึ่งของกลุ่มวิจัยที่ทดสอบเทคโนโลยีไบโอเมตริกซ์สำหรับกรมวิทยาศาสตร์ความมั่นคงแห่งมาตุภูมิและเทคโนโลยี (DHS S&T) และได้พิจารณาถึงความกังวลของสาธารณชน การวิจัยของพวกเขาแสดงให้เห็นว่าแม้ว่าการรับรู้ใบหน้าอาจไม่สมบูรณ์แบบ“ เรื่องเล่าของสื่อในปัจจุบันจำนวนมากมีความเข้าใจผิดที่ทำให้เข้าใจผิด” เขาเขียน

ตลอดบทความ LinkedIn ของเขา Sirotin จะดูสื่อทั่วไปในการจดจำใบหน้าและนำเสนอข้อเท็จจริงที่เกี่ยวข้องกับแต่ละรายการจากการวิจัยอุตสาหกรรม จากผลลัพธ์ทางวิทยาศาสตร์จากการวิจัยที่ดำเนินการโดย SAIC Identity และ Data Sciences Laboratory ที่โรงงานทดสอบแมริแลนด์ (MDTF) และอื่น ๆ ข้อความที่เขาวิเคราะห์คือ“ การจดจำใบหน้าทำให้เกิดข้อผิดพลาด”“ การจดจำใบหน้านั้นมีความแม่นยำสูงสำหรับผู้หญิงที่มีสี”

ตั้งแต่ปี 2014 DHS ของสหรัฐอเมริกาได้ทำการทดสอบเทคโนโลยีไบโอเมตริกซ์ในสถานการณ์การเดินทางที่แตกต่างกันจนถึงการวิเคราะห์บุคคลที่ไม่เหมือนใคร 2,000 คนที่มีโปรไฟล์ประชากรที่แตกต่างกันเขาเขียน สี่ปีต่อมาในปี 2561 ACLU และ MIT Media Lab นำเสนองานวิจัยของพวกเขาที่อ้างว่าการรับรู้ใบหน้านั้นมีอคติ ตามผลลัพธ์ ACLUเทคโนโลยีจับคู่กันอย่างไม่ดีถึง 39 เปอร์เซ็นต์ของคนที่มีสีในขณะที่อีกคนหนึ่งรายงานจาก MIT Media Labพบว่ามันส่งข้อผิดพลาดมากขึ้นสำหรับผู้หญิงที่มีสี (47 เปอร์เซ็นต์)

บท ACLU ของรัฐแมสซาชูเซตส์ประกาศในสัปดาห์นี้ว่านักกีฬา 27 คนถูกจับคู่กันอย่างไม่ถูกต้องในระหว่างการทดสอบในอัลกอริทึมของ rekognition ของ Amazon กับ mugshots ของอาชญากรในฐานข้อมูลตำรวจตามข้อมูลBusiness Insider- องค์กรกล่าวว่าต้องการเน้นว่าการรับรู้ใบหน้ามีแนวโน้มที่จะเกิดข้อผิดพลาดและการบังคับใช้กฎหมายไม่ควรมองว่าเป็นกระสุนเงินในการระบุตัวตนที่น่าสงสัย

อเมซอนย้ำอ้างว่าองค์กรไม่ได้ใช้อัลกอริทึมอย่างถูกต้องเนื่องจากเกณฑ์ความคล้ายคลึงกันที่แนะนำสำหรับการบังคับใช้กฎหมายคือ 99 เปอร์เซ็นต์แทนที่จะเป็น 80 เปอร์เซ็นต์ที่ใช้โดย ACLU การใช้เกณฑ์ความคล้ายคลึงกัน 99 เปอร์เซ็นต์หมายความว่าภาพจะไม่ถูกจับคู่เว้นแต่จะมีการจับคู่ที่แม่นยำ 99 เปอร์เซ็นต์

“ ในสถานการณ์ความปลอดภัยสาธารณะและการบังคับใช้กฎหมายในโลกแห่งความเป็นจริง Amazon Rekognition นั้นใช้โดยเฉพาะเพื่อช่วย จำกัด สนามและอนุญาตให้มนุษย์ตรวจสอบอย่างรวดเร็วและพิจารณาตัวเลือกโดยใช้การตัดสินของพวกเขาคำแถลงจาก Amazon

โฆษกกล่าวเพิ่มเติมว่า“ ACLU นั้นเป็นการใช้งานที่ผิดพลาดอีกครั้งและบิดเบือนความจริงของ Amazon Rekognition เพื่อสร้างพาดหัวข่าวเมื่อใช้กับเกณฑ์ความเชื่อมั่น 99% ที่แนะนำและเป็นส่วนหนึ่งของการตัดสินใจที่ขับเคลื่อนด้วยมนุษย์

Duron Harmon ผู้เล่นของ New England Patriots ของ National Football League และหนึ่งในนักกีฬา 27 คนที่จับคู่กับซอฟต์แวร์การรับรู้ใบหน้าของ Amazon แสดงความกังวลเกี่ยวกับการใช้การจดจำใบหน้าในการสืบสวนคดีอาญาและผลกระทบที่อาจเกิดขึ้นในสถานการณ์จริง

“ เทคโนโลยีนี้มีข้อบกพร่อง” เขากล่าวตาม ACLU “ ถ้ามันบอกฉันอย่างไม่ถูกต้องเพื่อนร่วมทีมของฉันและนักกีฬามืออาชีพอื่น ๆ ในการทดลองลองจินตนาการถึงผลกระทบในชีวิตจริงของการแข่งขันที่ผิดพลาดเทคโนโลยีนี้ไม่ควรใช้โดยรัฐบาลโดยไม่มีการคุ้มครอง”

ข่าวดังกล่าวเกิดขึ้นท่ามกลางล็อบบี้ของ ACLU สำหรับการห้ามใช้การจดจำใบหน้าโดยหน่วยงานของรัฐในรัฐแมสซาชูเซตส์

Sirotin กล่าวว่าตัวเลขปี 2018 ที่นำเสนอโดย ACLU และ MIT Media Lab นั้นไม่คาดคิดซึ่งเป็นสิ่งที่กระตุ้นให้กลุ่มวิจัยของเขาเผยแพร่การสังเกตการรับรู้ใบหน้าของพวกเขาในปี 2562 การอภิปรายเกี่ยวกับความคิดที่ว่าการรับรู้ใบหน้าเป็น 'ลำเอียง' เป็นปัญหาที่สูง

ในขณะที่มีนักวิจารณ์หลายคนเกี่ยวกับ rekognition ของ Amazon แต่นี่ก็ยังห่างไกลจากอัลกอริทึมการจดจำใบหน้าเพียงอย่างเดียวในตลาด

Sirotin อธิบาย“ อคติขึ้นอยู่กับระบบไบโอเมตริกซ์เต็มรูปแบบและวิธีการใช้งาน” เพราะ“ อัลกอริทึมอาจมีอคติโดยธรรมชาติหากมีข้อมูลการฝึกอบรมที่หลากหลายไม่เพียงพอ”

ปัจจุบันมีหลายเมืองและรัฐในสหรัฐอเมริกาห้ามการจดจำใบหน้าหรือกำลังพิจารณาห้ามการใช้งานโดยเฉพาะอย่างยิ่งโดยการบังคับใช้กฎหมาย เนื่องจากมีกลุ่มที่ไม่แสวงหาผลกำไรจำนวนมากต่อสู้กับการรับรู้ใบหน้าเช่นเว็บไซต์“ Fight for the Future” ที่เรียกว่า "banfacialrecognition.com” ที่พยายามเชื่อมโยงกับอาวุธนิวเคลียร์และชีวภาพ Sirotin Notes เป็นสิ่งสำคัญที่จะต้องตรวจสอบตัวเลขประสิทธิภาพที่อยู่เบื้องหลัง 'อคติ' เพื่อให้แน่ใจว่าการเรียกร้องนั้นเกี่ยวข้อง

Sirotin กล่าวว่าการรับรู้ใบหน้าทำให้เกิดข้อผิดพลาดในบางกรณีมันขึ้นอยู่กับประเภทของการเปรียบเทียบ “ การรับรู้เกี่ยวข้องกับการเปรียบเทียบภาพของแต่ละบุคคลอย่างน้อยสองภาพและทำข้อผิดพลาดสองประเภท” เขาเขียน มีการเปรียบเทียบภาพสองภาพของบุคคลเดียวกันและหากภาพเป็นของคนสองคนที่แตกต่างกันไม่ควรมีการจับคู่ เมื่อเทคโนโลยีบอกว่าการจับคู่ไม่ตรงกันนั่นเป็นบวกที่ผิดพลาดในขณะที่ความล้มเหลวในการจับคู่ภาพสองภาพของบุคคลเดียวกันนั้นเป็นค่าลบที่ผิดพลาด

การศึกษา 2018 โดย MIT Media Lab ที่เรียกว่าเฉดสีเพศรัฐไบโอเมตริกซ์เพศสัมพันธ์มีความแม่นยำเพียง 66 เปอร์เซ็นต์สำหรับผู้หญิงที่มีสี อย่างไรก็ตาม Sirotin กล่าวว่าประเด็นสำคัญสองประเด็นในการวิจัยคือมีการตรวจสอบอัลกอริทึมเพียงสามตัวเท่านั้นและการวิจัยวิเคราะห์การจำแนกเพศแทนการรับรู้ หลังเป็นสิ่งสำคัญ“ (b) การจำแนกประเภทของการพิจารณาว่าเกี่ยวข้องกับการเปรียบเทียบภาพเดียวกับการแสดงในชั้นเรียนที่เรียนรู้โดยแบบจำลองไม่ใช่การเปรียบเทียบภาพสองภาพในระดับที่เรียนรู้โดยแบบจำลองเพื่อการจดจำ”

ในทางกลับกันตามผลงานของกลุ่ม Sirotinการจดจำใบหน้ามีความแม่นยำมากสำหรับผู้หญิงที่มีสี อัลกอริทึมที่ทดสอบรายงานข้อผิดพลาดเชิงลบที่ผิดพลาดน้อยกว่า 2 เปอร์เซ็นต์ ในขณะที่ระบบทุกระบบไม่สมบูรณ์แบบและบางระบบอาจไม่ประสบความสำเร็จเนื่องจากข้อมูลการฝึกอบรมที่หลากหลายไม่เพียงพอ Sirotin เชื่อว่ามันสำคัญที่จะไม่พูดคุยทั่วไปเพราะตัวอย่างขนาดเล็กไม่สามารถเป็นตัวแทนได้ “ การทดสอบโดยรวมโดยรวมแสดงให้เห็นว่าการจดจำใบหน้าสามารถทำงานได้ดีสำหรับทุกคนรวมถึงผู้หญิงที่มีสี” เขากล่าว

การได้มาซึ่งภาพเป็นอีกแง่มุมที่สำคัญที่อาจส่งผลกระทบต่อประสิทธิภาพการรับรู้ใบหน้าและอคติ หลังจากใช้ระบบการซื้อกิจการใบหน้าเชิงพาณิชย์ 11 ระบบเพื่อรับภาพ 363 ภาพของคนสุ่มสำหรับการชุมนุมเทคโนโลยีไบโอเมตริกซ์ 2018ตัวเลขแสดงให้เห็นว่าอัลกอริทึมเชิงพาณิชย์ที่ได้รับความนิยมหนึ่งคนทำงานได้ไม่ดีสำหรับคนผิวดำ แต่ทั้งหมดขึ้นอยู่กับกล้องที่ใช้และวิธีการที่ได้รับภาพ

ข้อโต้แย้งชั้นนำที่เกิดขึ้นอย่างต่อเนื่องในสื่อคือเทคโนโลยีทำงานให้กับผู้ชายผิวขาว แต่ล้มเหลวสำหรับผู้หญิงผิวดำ Sirotin กล่าว อย่างไรก็ตามจากการวิจัยของเขาในขณะที่มีข้อผิดพลาดพิเศษสองสามข้อสำหรับผู้หญิงผิวดำอายุน้อยกว่าสำหรับชายผิวขาวอายุน้อยกว่าอัลกอริทึมส่งข้อผิดพลาดมากขึ้นสำหรับชายผิวขาวที่มีอายุมากกว่ามากกว่าผู้ชายผิวดำที่มีอายุมากกว่า “ โดยรวมแล้วไม่มีปัจจัยด้านประชากรศาสตร์เพียงตัวเดียว (เก่า/หนุ่มสาวดำ/ขาวชาย/หญิง) ที่ด้วยตัวเองอธิบายข้อผิดพลาดเชิงบวกที่ผิดพลาดอย่างชัดเจน […] ดังนั้นการบรรยายของสื่อจึงเป็นเท็จข้อผิดพลาดการจดจำใบหน้าไม่เพียงส่งผลกระทบต่อกลุ่มประชากรเดียวเท่านั้น” เขากล่าวสรุป

โพสต์นี้ได้รับการปรับปรุงเมื่อวันที่ 25 ตุลาคมเวลา 1:56 น. ตะวันออกเพื่อชี้แจงความกังวลของ Sirotin เกี่ยวกับการอภิปรายเกี่ยวกับ 'อคติ'