การปรับปรุงที่สำคัญได้เกิดขึ้นเมื่อเร็ว ๆ นี้ในความแม่นยำที่ไม่ดีของอัลกอริธึมการจดจำใบหน้าสำหรับการจดจำผู้หญิงที่มีผิวคล้ำ แต่เทคโนโลยีชั้นนำหลายแห่งทำให้เพศของพวกเขาผิดพลาดใน 20 เปอร์เซ็นต์หรือมากกว่านั้นนิวยอร์กไทม์ส-
Buolamwini ทดสอบเทคโนโลยีการจดจำใบหน้าจากผู้ให้บริการหลายรายที่มีชุดข้อมูลที่เธอสร้างและเรียกมาตรฐานของรัฐสภานักบินซึ่งเปรียบเทียบกลุ่มเกือบแม้กระทั่งระหว่างชายและหญิงและผิวคล้ำและผิวที่เบากว่า การทดสอบพบการปรับปรุงที่สำคัญเมื่อเทียบกับผลลัพธ์ของเธอการทดสอบก่อนหน้านี้ตีพิมพ์ในต้นปี 2561 แต่ยังเพิ่มมาตรฐานสำหรับเทคโนโลยีไบโอเมตริกซ์ใบหน้าจากอเมซอนและKairos-
Buolamwini ยังนำเสนองานวิจัยบางอย่างที่การประชุมประจำปีของ World Economic Forum ใน Davosพูดคุยกันว่า“ จ้องเข้ารหัส” (อ้างอิงถึง“จ้องมองชาย” ระบุในการวิจารณ์ภาพยนตร์) ส่งอคติจากโปรแกรมเมอร์ผ่านชุดข้อมูลและเข้าสู่ระบบปัญญาประดิษฐ์
รอบแรกของการทดสอบกับชุดข้อมูลใหม่ให้ความแม่นยำ 87.9 เปอร์เซ็นต์สำหรับเทคโนโลยีการจดจำใบหน้าของ IBM 90 เปอร์เซ็นต์สำหรับใบหน้าของ Megvii ++และ 93.7 เปอร์เซ็นต์สำหรับ Microsoft และ Buolamwini บันทึก“ ตัวเลขดูเหมือนโอเค” วิเคราะห์โดยเพศสภาพผิวและตัวแปรทั้งสองระบบมีความแม่นยำน้อยกว่าอย่างมีนัยสำคัญสำหรับบางกลุ่ม เพศหญิงที่มีผิวคล้ำนั้นถูกจับคู่อย่างแม่นยำในน้อยกว่า 80 เปอร์เซ็นต์ของกรณีโดย Microsoft และ Face ++ ซึ่งทำงานได้ดีกว่า Microsoft เล็กน้อยสำหรับผู้ชายที่มีผิวคล้ำได้คะแนนความแม่นยำเพียง 65.5 เปอร์เซ็นต์สำหรับผู้หญิงผิวดำ เทคโนโลยีของไอบีเอ็มจับคู่ผู้หญิงที่มีผิวคล้ำในอัตราความสำเร็จเพียง 65.3 เปอร์เซ็นต์ เมื่อถูกขอให้จำแนกวิชาตามเพศอัตราความผิดพลาดจากระบบของผู้ให้บริการหลายคนสำหรับผู้หญิงที่มีผิวหนังที่มืดมนที่สุดสูงกว่า 40 เปอร์เซ็นต์
Buolamwini แจ้ง บริษัท เกี่ยวกับผลลัพธ์และมีการปรับปรุงที่สำคัญบางอย่างรวมถึงความแม่นยำของ IBM ที่ระบุผู้หญิงที่มีผิวคล้ำกระโดดถึง 83.5 เปอร์เซ็นต์ Buolamwini ชี้ให้เห็นว่าการปรับปรุงdebunk ข้อเสนอแนะใด ๆว่าแกนกลางของปัญหาเกี่ยวข้องกับฟิสิกส์
rekognition ของอเมซอนระบุว่าเพศ 7.5 เปอร์เซ็นต์ของชุดข้อมูลและมากกว่าร้อยละ 16 ของผู้หญิงและมากกว่า 13 เปอร์เซ็นต์ของคนที่มีผิวคล้ำ เพศหญิงที่มีผิวคล้ำนั้นถูกจำแนกได้ 31 เปอร์เซ็นต์ของเวลาโดยอเมซอนและ 22.5 เปอร์เซ็นต์ของเวลาโดย Kairos The Times รายงานว่า Melissa Doval CEO ของ Kairos ซึ่งเข้าครอบครอง บริษัท ท่ามกลางกข้อพิพาทซึ่งอาจเกี่ยวข้องกับข้อกังวลของ Buolamwini อย่างมีนัยสำคัญกล่าวว่า บริษัท ได้เปิดตัวอัลกอริทึมใหม่ในเดือนตุลาคมซึ่งได้รับแรงบันดาลใจจากการวิจัย
ในจดหมาย(PDF) ถึง Jeff Bezos CEO ของ Amazon, Buolamwini เรียกร้องให้ Amazon หยุดให้ผลิตภัณฑ์ไบโอเมตริกซ์ใบหน้าเพื่อบังคับใช้กฎหมาย อย่างไรก็ตามการทดสอบไม่ได้ใช้บริการจดจำใบหน้าของ Amazon เวอร์ชันล่าสุดซึ่งเป็นผลิตภัณฑ์ในการทดสอบโดยตำรวจออร์แลนโดและใช้เพื่อการวิเคราะห์มากกว่าการรับรู้ บริษัท ไม่ตอบสนองโดยตรงและความแม่นยำของเทคโนโลยีไม่ได้ดีขึ้นเมื่อทดสอบซ้ำหลังจากสองสามเดือน
“ เป็นไปไม่ได้ที่จะสรุปเกี่ยวกับความถูกต้องของการรับรู้ใบหน้าสำหรับกรณีการใช้งานใด ๆ - รวมถึงการบังคับใช้กฎหมาย - ตามผลลัพธ์ที่ได้จากการวิเคราะห์ใบหน้า” ผู้จัดการทั่วไปของ Amazon Web Services ของปัญญาประดิษฐ์ดร. แมตต์วู้ดกล่าวในแถลงการณ์ทางอีเมลถึงการอัปเดตไบโอเมตริกซ์- “ ผลลัพธ์ในบทความยังไม่ได้ใช้ Rekognition เวอร์ชันล่าสุดและไม่ได้แสดงว่าลูกค้าจะใช้บริการในวันนี้โดยใช้ Amazon Rekognition เวอร์ชันที่ทันสมัยพร้อมข้อมูลที่คล้ายกันที่ดาวน์โหลดจากเว็บไซต์ของรัฐสภาและชุดข้อมูล Megaface ของภาพ 1M
“ เรายังคงแสวงหาการป้อนข้อมูลและข้อเสนอแนะเพื่อปรับปรุงเทคโนโลยีนี้อย่างต่อเนื่องและสนับสนุนการสร้างการประเมินของบุคคลที่สามชุดข้อมูลและมาตรฐาน” ดร. วู้ดกล่าวเสริม “ เราได้จัดหาเงินทุนสำหรับการวิจัยเชิงวิชาการในพื้นที่นี้ได้ลงทุนอย่างมีนัยสำคัญในทีมของเราและจะดำเนินการต่อไปความพยายามเหล่านี้จำนวนมากได้มุ่งเน้นไปที่การปรับปรุงการจดจำใบหน้าการวิเคราะห์ใบหน้าความสำคัญของระดับความมั่นใจสูงในการตีความผลลัพธ์เหล่านี้ อคติและการใช้ระดับความมั่นใจที่เหมาะสมเป็นพื้นที่ที่มุ่งเน้นสำหรับ AWS และเราขอขอบคุณลูกค้าและนักวิชาการที่มีส่วนช่วยในการพัฒนาเทคโนโลยีเหล่านี้”
“ เทคโนโลยีเช่น rekognition ของ Amazon ควรใช้ในกรณีและเฉพาะในกรณีที่มันถูกตื้นตันใจกับค่านิยมของชาวอเมริกันเช่นสิทธิในความเป็นส่วนตัวและการคุ้มครองที่เท่าเทียมกัน” แมสซาชูเซตส์วุฒิสมาชิกประชาธิปไตยเอ็ดเวิร์ดเจ. มาร์กี้บอกกับ The Times “ ฉันไม่คิดว่ามาตรฐานกำลังได้รับการตอบสนอง”
Buolamwini ยังเป็นผู้ก่อตั้งอัลกอริทึม Justice Justice League ซึ่งเปิดตัวจำนำหน้าปลอดภัยแคมเปญที่จะให้ บริษัท มุ่งมั่นที่จะใช้มาตรฐานทางจริยธรรมสำหรับการใช้การจดจำใบหน้าในเดือนธันวาคม
หัวข้อบทความ
ความแม่นยำ-ปัญญาประดิษฐ์-การทดสอบไบโอเมตริกซ์-อคติไบโอเมตริกซ์-ไบโอเมตริกซ์-จริยธรรม-การจดจำใบหน้า-วางทุ่น
