10 月 16 日星期二,15 個協會向國家委員會提出上訴:旨在停止使用 CAF(家庭津貼基金)的評級演算法。在這種情況下,歐盟法院可能會採取行動:足以對這種自動化工具以及其他政府中使用的其他工具造成決定性的打擊,這些協會希望這些工具認為後者俱有歧視性,而且不僅僅是有問題。
這管理評級演算法,作為檢測詐欺的手段,它們會很快成為過去嗎?這正是這 15 個協會所希望的,它們在 10 月 15 日星期二向國務委員會提起針對國家家庭津貼基金 (CNAF) 的法律訴訟。在他們的取景器中:演算法CNAF 的評級,但不僅如此。 La Quadrature du Net、國際特赦組織法國、人權聯盟、法國律師聯盟和其他 11 個非政府組織在最高行政法院面前,該工具允許 CNAF 決定控制哪個接收者,作為其打擊社會詐欺的一部分。
去年 7 月,這些協會要求基金組織停止使用該演算法,他們在聲明中解釋稱,這相當於對最不穩定群體的過度控制。記憶。在 CNAF 保持兩個月的沉默(這意味著不予受理的結束)後,後者決定採取法律行動。透過這項呼籲,協會希望該演算法將被徹底擱置……就像法國其他政府使用的所有其他演算法一樣。
這個話題並不新鮮。去年 11 月,Quadrature du Net 獲得了 Caisse 原始碼的兩個先前版本。該協會認為該工具針對的是最不穩定、正如我們在本文中向您解釋的。這一切都始於該小組 2022 年 12 月的一項調查法國廣播電台-Franceinfo 的調查,該文件顯示,CNAF 根據詐欺風險對其受益人進行評級。
接受者越不穩定,他或她就越有可能受到控制。
15 個非政府組織回顧了其背景10 月 16 日星期三新聞稿。該演算法“為每個受益人分配一個懷疑分數,其值用於選擇接受檢查的受益人。越高,被檢查的機率就越大。每個月,演算法都會分析超過 3,200 萬名領取 CAF 福利的家庭成員的個人數據,併計算超過 1,300 萬個分數»。
La Quadrature du Net 透過發布先前的兩種 CAF 演算法,顯示它們的變數越有可能導致陷入不穩定的風險(例如失業、情況變化),受益人的評級就越接近1,越有可能被控制,向我們解釋了保護數位權利協會。
對於 CNAF 來說,該工具僅旨在識別最有可能犯錯的受益人
作為回報,儲蓄銀行總經理尼古拉斯·格里維爾 (Nicolas Grivel) 在一份聲明中指出,接受法新社採訪,該演算法的主要目標是識別最有可能在聲明中犯錯的受益人。他解釋說,這不會有歧視性,也不一定是針對最貧困的人,而是那些收入不同的人。本週三,同一位董事發表了類似的聲明,始終與我們的同事在一起。該工具旨在識別最有可能在申報中犯錯的受益人,其目標是“重大且重複逾期付款“,他說。
對於非政府組織來說,法律行動的目標盡可能“監測範圍“ 那 ”該演算法對生命歷程中已經處於弱勢的受益人進行了歧視»。 «透過吸收不穩定和欺詐嫌疑,該演算法參與了對最弱勢群體的污名化和製度性虐待的政策», 繼續關聯。
歐盟法院的裁決可能會改變遊戲規則
這項上訴是在歐盟法院 (CJEU) 作出可能改變情況的裁決十個月後提出的。 12 月 7 日,歐洲法官裁定,根據歐盟個人資料法規 GDPR,任何類型的自動評級,如果對人們的生活產生重大影響,均被禁止。換句話說,任何使用個人資料的評級系統的決策都是非法的。
或許足以對 CNAF 系統以及法國政府的其他評分系統提出質疑,Quadrature du Net 解釋說,“對最不穩定的人進行反覆檢查,自動暫停,對已經處於非常困難情況的人進行逾期恢復»?這些協會要求法國最高行政法院將此事提交給歐盟法院徵求其意見(透過初步裁決)或宣布該演算法非法。就 CNAF 負責人 Nicolas Grivel 而言,他再次與法新社的同事向我們保證:“如果某個司法管轄區採取立場(…)開發該系統,(CNAF 將)遵守”。