家庭津贴基金使用的算法如何决定在打击社会欺诈时控制哪个受益人?据该协会称,La Quadrature du Net 已经发布了该算法之前两个版本的源代码,这证实了该工具的目标是最不稳定的。 CNAF 为自己辩护,解释说该算法主要针对收入波动的人群。
国家家庭津贴基金(CNAF)如何检查其受益人是否存在欺诈行为?我们知道他的控制不是随机决定的,而是算法确定最低社会福利的接受者将受到监督。事实仍然是,该算法及其操作存在一定的不透明性。我们现在知道得更多了,因为经过几个月的法律斗争,CNAF 最终同意分享其“评分算法”的两个源代码,用于决定“控制”哪些受益人。一个是 2010 年的,另一个是 2014 年的。这些源代码由 Quadrature du Net 于 11 月 27 日星期一在其网站上发布网站网址。
通过让公众能够接触到它们,特别是通过列出 Excel 文件中使用的变量和相应的索引维权协会希望结束这些算法的“谜团”。这不是 CNAF 目前使用的算法的源代码。但 2010 年和 2014 年的前两个版本清楚地表明,所使用的变量惩罚的是最不稳定的人,Quadrature du Net 在其网站上解释说,并对实施感到遗憾“一个特别有害的大规模监视系统»。
授予每个受益人的风险评分
捍卫数字权利协会花了几个月的时间才获得这些算法的源代码,并要求在 2022 年透露了这个工具的存在。同年12月,细胞法国广播电台-Franceinfo的调查表明 CNAF 根据欺诈风险对其受益人进行了良好的评级。我们的同事解释说,CNAF 授予“风险评分» 通过交叉引用来自不同主管部门的信息,对每个配置文件进行分析:越接近 1,接收者被控制的风险就越大。我们的同事强调,在这样的体系中,最不稳定的人被认为面临更大的风险,也受到更多的控制。 CNAF 在 Franceinfo 上承认使用此类算法,但只是少量使用。
CNAF 根据什么来确定这个分数还有待观察:因此有必要能够访问该算法的源代码。。 La Quadradure du Net 要求福利基金传达此代码,以便了解哪些因素会降低受益人的分数,从而了解哪些因素会增加后者被检查的机会。
“CNAF领导人对算法神秘莫测”
CNAF 最初的回应是经过编辑的源代码——所有变量名称都被隐藏。政府认为,如果算法公布了当前使用的所有代码,欺诈者就可以欺骗算法。这个想法是说:“S如果我们给出计算这些风险评分的公式,人们就会明白其中考虑了哪些参数,并会在他们的声明中撒谎,从而人为地修改他们的评分», 解释了一位自称 Alex 的 Quadrature du Net 成员,负责与算法相关的活动,接受 01net.com 采访。这是 ”这是一个可怕的恶意论点,因为当我们查看公式时,它是与财务状况相关的因素,是申请获得社会援助所必需的不稳定因素»,他补充道。因此,如果您改变它们,您将无法再获得社会福利。
La Quadrature 为避免启动冗长的管理程序,要求通过 CADA 程序(访问管理文件的请求)发布如今不再使用的以前代码(这些源代码会定期更新)。对此,CNAF最终做出了积极回应。
我们知道家庭津贴基金自 2010 年代以来一直在使用这种算法。文森特·杜波依斯(Vincent Dubois),斯特拉斯堡政治研究所教授,《控制那些被援助的人。口号的起源和用途,已经表明这个工具故意针对最不稳定的人。但“Quadrature du Net”竞选经理解释说,教授无权公布该公式。几个月来,当被问及该算法时,CNAF 领导人为自己辩护说:它本质上是一种数据挖掘工具。 “马上,事情就变得非常复杂了。当我们问他们是否真的针对那些最困难的人时,他们回答说:没有,但事实上,算法中没有针对目标,因为它是纯粹统计的东西,由专家构建”。这是一个算法“错误风险统计情况的镜子»,例如,Cnaf 总经理 Nicolas Grivel 和我们在法国资讯网,去年十二月。
这就是源代码变量包含的内容
通过发布 2010 年和 2014 年的源代码,事情变得更加清晰了。我们知道这些先前的算法使用了哪些参数。对于 2014 年,我们可以浏览其 32 个变量,其中包括诸如职业活动月数、是否有儿童、领取残疾成人津贴 (AAH) 的事实、您连接的次数等元素您的网络空间,或者您的配偶已超过 60 岁的事实。其中一些变量有时建立在几个月的历史基础上,其中包括来自配偶的数据。可能导致不安全感的变量越多(例如失业、情况变化),接收者的分数就越接近 1,他们就越有可能受到监控。
CNAF 可以删除政治上过于敏感的变量
这个逻辑对于Quadrature du Net的成员来说并不奇怪。他解释说,因为 CNAF 设置的算法不是经过训练来检测欺诈的,而是检测超额支付的。这些是受益人犯下的错误,导致社会福利多付。 “根据 2010 年向 CNIL 做出的声明,我们知道 CNAF 算法最初是为了打击欺诈而设计的。但实际上很难通过算法来表征欺诈,因此很难获得欺诈预测分数,因为欺诈需要故意,”详细介绍了 Quadrature du Net 的成员。 “从数据库中衡量意向性有点复杂,数据库中有财务、个人、家庭状况以及与 CNAF 互动的数据。»,他补充道。他继续说,欺诈行为将被搁置,算法将被重新训练以检测不当支付。 “如果我们简化,就足以训练算法来检测社会福利最低的人、接受社会援助的人,这些人受到非常复杂的规则的约束,而且我们很有可能在他们身上犯错误。»,他解释道。
对于 CNAF,该算法不针对不一定是最穷的人,而是那些收入参差不齐的人
在发布这些源代码后,Quadrature du Net 希望在中期对控制政策进行反思,“这对人类造成了极其严重的后果»,已启动。 “预计 CNAF 将删除政治上过于敏感的变量,例如 AAH、残疾成年人津贴,同时继续针对相同人群,为普通公众提供更难以理解的变量。», 估计求积的成员。本届政府的领导人将不再能够隐藏在算法背后并拒绝对此政策承担责任”,总结如下:“对最不稳定的人进行反复检查、自动暂停、向已经处于非常困难境地的人追回逾期付款……这些都是被压垮的人的生命»。
2017 年,这位维权捍卫者在一份报告中警告政府使用数据挖掘的危险,并指出可能导致歧视的风险。 “数据挖掘的实践不仅仅是针对“可疑的风险”,还迫使人们指定处于风险中的人群,从而导致灌输这样的观念:某些类别的用户更倾向于实施欺诈。,他详细说明。
而对于协会的成员来说,所有这些风险和所有这些后果都是不值得的。 “知道 CNAF 的财务风险为零,我们真的需要从那些犯了无心错误和有需要的人那里收回这笔钱吗?»,他问道。后者认为法国的社会制度并没有因为受益者的错误而受到破坏。
审计法院估计,到 2022 年,社会福利欺诈每年的金额为 6 至 80 亿欧元,这一数字仍有待确认,金融法官指出事后控制方面缺乏资源。据我们来自 CNAF 的同事报道,CNAF 计算出,在支付的 950 亿欧元津贴中,将有 28 亿欧元的欺诈行为。法国信息去年。税务欺诈,即想要避税的事实,将会更加严重——达到 800 亿欧元,但在这里,这也是一个问题Solidaires Finances 公共联盟的估计,从 2018 年开始。
联系方式01网,截至本文发表时,CNAF 尚未回复我们的置评请求。但储蓄银行总经理尼古拉斯·格里维尔 (Nicolas Grivel) 澄清说,Tech&Co 接受法新社采访,该算法的目标是识别最有可能在声明中犯错误的受益人。这不会构成歧视,并且不一定针对最贫困的人,而是那些收入参差不齐的人。
11 月 28 日星期二结束时,CNAF 发布了一条长推文,希望回到“反对真理和流传的近似值”。她解释说,该算法“向 CNIL 申报» 等 «符合法律规定» 不用于“监控受益人”,但要识别错误,这可以是“反对但也有利于受益人»。 «31% 的控制后正规化有利于接受经济补贴的接受者»,她补充道。福利基金声明“与社会学家合作,数据科学家和其他专家提高认识并在必要时调整他们的算法实践»。
https://twitter.com/cnaf_actus/status/1729551188729749778
编者注:本文发表于 11 月 28 日,于 11 月 29 日星期三进行了修改,纳入了 CNAF 于 11 月 28 日(当天结束)发布的推文。
另请阅读:银行诈骗:为什么您应该向银行要求退款