家庭津貼基金使用的演算法如何決定在打擊社會詐欺時控制哪個受益者?據該協會稱,La Quadrature du Net 已經發布了該演算法之前兩個版本的源代碼,這證實了該工具的目標是最不穩定的。 CNAF 為自己辯護,解釋說該演算法主要針對收入波動的人群。
國家家庭津貼基金(CNAF)如何檢驗其受益人是否有詐欺行為?我們知道他的控制不是隨機決定的,而是演算法確定最低社會福利的接受者將受到監督。事實仍然是,該演算法及其操作存在一定的不透明性。我們現在知道更多了,因為經過幾個月的法律鬥爭,CNAF 最終同意分享其「評分演算法」的兩個原始碼,用於決定「控制」哪些受益人。一個是 2010 年的,另一個是 2014 年的。網站網址。
透過讓公眾能夠接觸到它們,特別是透過列出 Excel 檔案中使用的變數和對應的索引維權協會希望結束這些演算法的「謎團」。這不是 CNAF 目前使用的演算法的原始碼。但 2010 年和 2014 年的前兩個版本清楚地表明,所使用的變數懲罰的是最不穩定的人,Quadrature du Net 在其網站上解釋說,並對實施感到遺憾“一個特別有害的大規模監視系統»。
授予每個受益人的風險評分
捍衛數位權利協會花了幾個月的時間才獲得這些演算法的源代碼,並要求在 2022 年透露了這個工具的存在。同年12月,細胞法國廣播電台Franceinfo的調查表明 CNAF 根據詐欺風險對其受益人進行了良好的評級。我們的同事解釋說,CNAF 授予“風險評分» 透過交叉引用來自不同主管部門的信息,對每個配置文件進行分析:越接近 1,接收者被控制的風險就越大。我們的同事強調,在這樣的體系中,最不穩定的人被認為面臨更大的風險,也受到更多的控制。 CNAF 在 Franceinfo 上承認使用此類演算法,但只有少量使用。
CNAF 根據什麼來確定這個分數還有待觀察:因此有必要能夠存取該演算法的原始程式碼。。 La Quadradure du Net 要求福利基金傳達此代碼,以便了解哪些因素會降低受益人的分數,從而確定哪些因素會增加後者被檢查的機會。
“CNAF領導人對演算法神秘莫測”
CNAF 最初的回應是經過編輯的原始碼——所有變數名稱都被隱藏。政府認為,如果演算法公佈了目前使用的所有程式碼,詐欺者就可以欺騙演算法。這個想法是說:「S如果我們給出計算這些風險評分的公式,人們就會明白其中考慮了哪些參數,並會在他們的聲明中撒謊,從而人為地修改他們的評分», 一位自稱 Alex 的 Quadrature du Net 成員解釋道,他負責與演算法相關的活動,並接受了 01net.com 的採訪。這是 ”這是一個可怕的惡意論點,因為當我們查看公式時,它是與財務狀況相關的因素,是申請獲得社會援助所必需的不穩定因素»,他補充道。因此,如果您改變它們,您將無法再獲得社會福利。
La Quadrature 為避免啟動冗長的管理程序,要求透過 CADA 程序(存取管理文件的請求)發佈如今不再使用的先前的程式碼(這些原始碼會定期更新)。對此,CNAF最終做出了積極回應。
我們知道家庭津貼基金自 2010 年代以來一直在使用這種演算法。杜波依斯(Vincent Dubois),斯特拉斯堡政治研究所教授,《控制那些被援助的人。口號的起源和用途,已經顯示這個工具故意針對最不穩定的人。但「Quadrature du Net」競選經理解釋說,教授無權公佈該公式。幾個月來,當被問及該演算法時,CNAF 領導人為自己辯護說:它本質上是一種資料探勘工具。 “馬上,事情就變得非常複雜了。當我們問他們是否真的針對那些最困難的人時,他們回答說:沒有,但事實上,演算法中沒有針對目標,因為它是純粹統計的東西,由專家構建」。這是一個演算法“錯誤風險統計情況的鏡子»,例如,Cnaf 總經理 Nicolas Grivel 和我們在法國資訊網,去年十二月。
這就是原始碼變數所包含的內容
透過發布 2010 年和 2014 年的源代碼,事情變得更加清晰了。我們知道這些先前的演算法使用了哪些參數。對於 2014 年,我們可以瀏覽其 32 個變量,其中包括諸如職業活動月數、是否有兒童、領取殘疾成人津貼 (AAH) 的事實、您連接的次數等元素您的網絡空間,或者您的配偶已超過60 歲的事實。其中一些變數有時建立在幾個月的歷史基礎上,其中包括來自配偶的資料。可能導致不安全感的變數越多(例如失業、情況變化),接收者的分數就越接近 1,就越有可能受到監控。
CNAF 可以刪除政治上過於敏感的變量
這個邏輯對於Quadrature du Net的成員來說並不奇怪。他解釋說,因為 CNAF 設定的演算法不是經過訓練來檢測詐欺的,而是檢測超額支付的。這些都是受益者犯下的錯誤,導致社會福利多付。 “根據 2010 年向 CNIL 做出的聲明,我們知道 CNAF 演算法最初是為了打擊詐欺而設計的。但實際上很難透過演算法來表徵欺詐,因此很難獲得欺詐預測分數,因為詐欺需要故意,”詳細介紹了 Quadrature du Net 的成員。 “從資料庫中衡量意向性有點複雜,資料庫中有財務、個人、家庭狀況以及與 CNAF 互動的資料。»,他補充道。他繼續說,欺詐行為將被擱置,演算法將被重新訓練以檢測不當支付。 “如果我們簡化,就足以訓練演算法來檢測社會福利最低的人、接受社會援助的人,這些人受到非常複雜的規則的約束,而且我們很有可能在他們身上犯錯。»,他解釋。
對於 CNAF,該演算法不針對不一定是最窮的人,而是那些收入參差不齊的人
在發布這些原始程式碼後,Quadrature du Net 希望在中期對控制政策進行反思,“這對人類造成了極為嚴重的後果»,已啟動。 “預計 CNAF 將刪除政治上過於敏感的變量,例如 AAH、殘疾成人津貼,同時繼續針對相同人群,為普通公眾提供更難以理解的變量。», 估計求積的成員。本屆政府的領導人將不再能夠隱藏在演算法背後並拒絕對此政策承擔責任”,總結如下:“對最不穩定的人進行反覆檢查、自動暫停、向已經處於非常困難境地的人追回逾期付款……這些都是正在被壓垮的人的生命»。
2017 年,這位維權捍衛者在一份報告中警告政府使用資料探勘的危險,並指出可能導致歧視的風險。 “資料探勘的實踐不僅僅是針對“可疑的風險”,還迫使人們指定處於風險中的人群,從而導致灌輸這樣的觀念:某些類別的用戶更傾向於實施欺詐。,他詳細說明。
而對於協會的成員來說,所有這些風險和所有這些後果都是不值得的。 “知道 CNAF 的財務風險為零,我們真的需要從那些犯了無心錯誤和有需要的人那裡收回這筆錢嗎?»,他問。後者認為法國的社會制度並沒有因為受益者的錯誤而受到破壞。
審計法院估計,到 2022 年,社會福利詐欺每年的金額為 6 至 80 億歐元,這一數字仍有待確認,金融法官指出事後控制缺乏資源。根據我們來自 CNAF 的同事報道,CNAF 計算出,在支付的 950 億歐元津貼中,將有 28 億歐元的詐欺行為。法國資訊去年。稅務欺詐,即想要避稅的事實,將會更加嚴重——高達 800 億歐元,但在這裡,這也是一個問題Solidaires Finances 公共聯盟的估計,從 2018 年開始。
聯絡方式01網,截至本文發表時,CNAF 尚未回覆我們的置評請求。但儲蓄銀行總經理尼古拉斯·格里維爾 (Nicolas Grivel) 澄清說,Tech&Co 接受法新社採訪,該演算法的目標是識別最有可能在聲明中犯錯的受益人。這不會構成歧視,而且不一定是針對最貧困的人,而是那些收入參差不齊的人。
11 月 28 日星期二結束時,CNAF 發布了一條長推文,希望回到“反對真理和流傳的近似值」。她解釋說,該演算法“向 CNIL 申報» 等 «符合法律規定» 不用於“監控受益人”,但要識別錯誤,這可以是“反對但也有利於受益人»。 «31% 的控制後正規化有利於接受經濟補貼的受助者»,她補充道。福利基金聲明“與社會學家合作,數據科學家和其他專家提高認識並在必要時調整他們的演算法實踐»。
https://twitter.com/cnaf_actus/status/1729551188729749778
編者註:本文發表於 11 月 28 日,於 11 月 29 日星期三進行了修改,納入了 CNAF 於 11 月 28 日(當天結束)發布的推文。
另請閱讀:銀行詐騙:為什麼您應該向銀行要求退款