计算所得税,CAF的社会福利,与欺诈作斗争,支持求职者...法国政府越来越多地使用算法对于人工智能,权利的捍卫者听起来很警报。在报告于11月13日(星期三)发布,这个独立的行政权限负责捍卫我们在多个部门的权利和自由,”担心公共服务对用户权利权利的“算法”的风险s公共服务»。
算法和AI系统越来越多地用于“自动化,标准化甚至改进和/或加速某些程序或某些阶段的行政程序»。除了使用聊天机器人直接回答用户外,某些公共服务还使用AI系统,在许多领域,例如社会援助(CAF),税收(收入税的计算),学校取向(Parcoursup)或对求职者的监视(法国)工作)。
冒着我们的权利和自由的风险?
但是,现在越来越多的个人行政决策是基于“AI算法或系统提供的结果自2021年以来捍卫权利的克莱尔·海顿(ClaireHédon)解释说,这并非没有风险。算法的歧视。
这一点已经由媒体和权利国防协会多次提高。在法国,2023年11月的净扣除净的正交算法针对目标的国家家庭津贴CAISSE(CNAF)根据协会的说法,最不稳定的。这些工具允许作为与社会欺诈斗争的一部分,CNAF决定要控制哪个受益人。
该案现已提交国务委员会。上个月,15个协会已经开始旨在结束CNAF对该评级算法的使用。
另请阅读:这些关联希望删除CAF符号算法...
直到保护措施在实践中几乎没有应用?
但是,回忆起权利的捍卫者,政府可以自2018年法律以来,其一些决定基于对个人数据的自动处理,但必须遵守多种条件。但是这项立法为实践中应用的斗争所规定的保障措施。 “”例如,法律要求将用户告知用户与他们有关的自动决定,但是很难定义此信息所需的细节类型和级别才能有用且可访问»,请注意权威。
换句话说,用户不一定要意识到这是这样的决定的算法。 “”制定过程,自动化和操作甚至可能的偏见的过程是直接可见的“遗憾的是权利的捍卫者。
法律通常要求行政部门发布“定义主要算法治疗的规则»。但实际上,它几乎从未应用,特别是因为在不遵守此义务的情况下没有制裁。
另一个问题:AI系统应该由人类监督。实际上,他们的干预措施通常太有限了。权利的捍卫者回想起有必要的“尊重用户的权利,是分配给公共管理人员以及现场代理的目标的核心,而与算法的部署有关,不让政府集中于算法系统,关于优先目标成本和人员降低获利指标 »。
另请阅读:在美国,护理人员被迫遵循算法的指示
真正的人类监督,促进补救措施...权利捍卫者的建议
独立当局为政府和政府提出了一些建议。她认为,首先,应系统地了解用户在与他们有关的决策中使用的算法的作用。
政府也应“真正保证在算法决策中有效的人类监督,并有能力在必要时采取行动和修改该过程»。克莱尔·希登(ClaireHédon)还建议更好地保护我们免受算法的影响,这可能导致歧视。
另请阅读:为什么仍然是性别歧视的算法
独立机构不再考虑使用敏感的个人数据,例如人的性取向,其种族或种族血统,其政治,宗教观点,工会成员资格,健康数据等在AI系统中。最后,它建议促进用户针对算法的决定,并在发生争议的情况下进行系统的诉讼。
来源 : 2024年11月13日的报告