10 月 16 日星期二,15 个协会向国务委员会提出上诉:旨在停止使用 CAF(家庭津贴基金)的评级算法。在这种情况下,欧盟法院可能会采取行动:足以对这种自动化工具以及其他政府中使用的其他工具造成决定性的打击,这些协会希望这些工具认为后者具有歧视性,而且不仅仅是有问题。
这管理评级算法,作为检测欺诈的手段,它们会很快成为过去吗?这正是这 15 个协会所希望的,它们于 10 月 15 日星期二向国务委员会提起针对国家家庭津贴基金 (CNAF) 的法律诉讼。在他们的取景器中:算法CNAF 的评级,但不仅如此。 La Quadrature du Net、国际特赦组织法国、人权联盟、法国律师联盟和其他 11 个非政府组织在最高行政法院面前,该工具允许 CNAF 决定控制哪个接收者,作为其打击社会欺诈的一部分。
去年 7 月,这些协会要求基金组织停止使用该算法,他们在声明中解释称,这相当于对最不稳定群体的过度控制。记忆。在 CNAF 保持两个月的沉默(这意味着不予受理的结束)后,后者决定采取法律行动。通过这一呼吁,协会希望该算法将被彻底搁置……就像法国其他政府使用的所有其他算法一样。
这个话题并不新鲜。去年 11 月,Quadrature du Net 获得了 Caisse 源代码的两个先前版本。该协会认为该工具针对的是最不稳定、正如我们在本文中向您解释的。这一切都始于该小组 2022 年 12 月的一项调查法国广播电台-Franceinfo 的调查,该文件显示,CNAF 根据欺诈风险对其受益人进行评级。
接受者越不稳定,他或她就越有可能受到控制。
15 个非政府组织回顾了其背景10 月 16 日星期三新闻稿。该算法“为每个受益人分配一个怀疑分数,其值用于选择接受检查的受益人。越高,被检查的概率就越大。每个月,该算法都会分析超过 3200 万名领取 CAF 福利的家庭成员的个人数据,并计算超过 1300 万个分数»。
La Quadrature du Net 通过发布之前的两种 CAF 算法,表明它们的变量越有可能导致陷入不稳定的风险(例如失业、情况变化),受益人的评级就越接近到1,越有可能被控制,向我们解释了保护数字权利协会。
对于 CNAF 来说,该工具仅旨在识别最有可能犯错误的受益人
作为回报,储蓄银行总经理尼古拉斯·格里维尔 (Nicolas Grivel) 在一份声明中指出,接受法新社采访,该算法的主要目标是识别最有可能在声明中犯错误的受益人。他解释说,这不会有歧视性,也不一定针对最贫困的人,而是那些收入不同的人。本周三,同一位董事发表了类似的声明,始终与我们的同事在一起。该工具旨在识别最有可能在申报中犯错误的受益人,其目标是“重大且重复逾期付款“,他说。
对于非政府组织来说,法律行动的目标尽可能“监测范围“ 那 ”该算法对生命历程中已经处于弱势的受益人进行了歧视»。 «通过吸收不稳定和欺诈嫌疑,该算法参与了对最弱势群体的污名化和制度虐待政策», 继续关联。
欧盟法院的裁决可能会改变游戏规则
此次上诉是在欧盟法院 (CJEU) 作出可能改变情况的裁决十个月后提出的。 12 月 7 日,欧洲法官裁定,根据欧洲个人数据法规 GDPR,任何类型的自动评级如果对人们的生活产生重大影响,则被禁止。换句话说,任何使用个人数据的评级系统的决策都是非法的。
或许足以对 CNAF 系统以及法国政府的其他评分系统提出质疑,Quadrature du Net 解释说,“对最不稳定的人进行反复检查,自动暂停,对已经处于非常困难情况的人进行逾期恢复»?这些协会正在要求法国最高行政法院将此事提交给欧盟法院征求其意见(通过初步参考)或宣布该算法非法。就 CNAF 负责人 Nicolas Grivel 而言,他再次与法新社的同事向我们保证:“如果某个司法管辖区采取立场(……)开发该系统,(CNAF 将)遵守”。