该咨询机构的职能是就人权问题向政府提供建议,就巴黎奥运会期间和明年 3 月之前部署的算法视频监控 (VSA) 实验提出建议。对于 CNCDH 来说,公共当局必须恢复“对基本权利和自由的攻击与保护公共秩序之间”的“打破的平衡”。她感到震惊,这关乎“我们对社会的选择”。
保障不足、控制机构有待加强、社会选择……国家人权咨询委员会(CNDH)在大约十天前在其网站上发布的官方公报(7月2日星期二)发布的一份通知中,为法国政府提供人权咨询的机构猛烈抨击了现行的人权体系VSA,由算法驱动的视频监控。
虽然人工智能增强相机有经验的之前、期间和之后巴黎奥运会,与“更重要的VSA部署»,至少可以说,CNDH 对视频监控设备的当前保证进行了严格的评估。需要提醒的是,VSA 于 2023 年 5 月 19 日在法国(欧洲首次)通过与巴黎奥运会相关的法律首次获得授权:作为实验,授权至 2025 年 3 月。独立机构在其咨询意见中提出了一系列建议,以恢复“对基本权利和自由的攻击与对公共秩序的保护之间的平衡被打破”。
她还要求“公共当局正在重新考虑加速部署视频保护设备的愿望”,解释“要求组织有关算法视频监控使用的民主辩论» 与法国隐私监管机构 CNIL 合作。
监视的系统化、私人行为者参与主权任务……
CNCDH 解释说,自 20 世纪 90 年代末以来,监控摄像头在变得司空见惯之前就已部署在公共场所。该机构回顾说,“这种警察技术只能在地点、时间和目的的严格合理限制内获得授权,并通过对其安装和实施的有效控制来保证”。为此添加了人工智能(AI),负责检测行为“异常» 例如人群流动、异常高的密度或存在被遗弃的行李。
这项最新技术是视频保护连续性的一部分,同时,(它)似乎改变了其性质»,请注意l'机构咨询。 L'IA «一方面允许监视系统化和强化,另一方面允许私人行为者(软件设计者)前所未有地参与行使主权使命»,她补充道。事实上,国家已经呼吁私营公司设计这些视频监控工具中使用的算法,例如公报相机。
该机构指出的另一个问题:“这个更新的视频监控系统“ 可以 ”诱发警察与民众之间的新型关系,以不信任和距离为特征»。铯 «新技术再次引发人们对任何人行使其基本权利和自由的可能性受到挑战的恐惧,包括在公共场所匿名示威的自由»,他写道。
VSA 在“立法薄弱»
该咨询机构指出,该 VSA 是在“立法薄弱”,要求政府“将必要性和相称性要求置于这些侵犯基本权利和自由的设备合法性的核心,当添加人工智能时更是如此»。
她认为,原则上相机不应该在一天中的所有时间和一年中的所有时间都处于活动状态。如果必须向省长提出安装这些设备的请求,则应“暴露扰乱公共秩序的风险» 这证明了这种呼吁的合理性。遵守这些必要性和相称性要求应遵守系统独立控制CNCDH 继续说道。今天,行政法官的干预确实取决于行动她感到遗憾的是,“制度的有效性”依赖于维权协会。
各部门视频保护委员会和CNIL的监督权力必须加强
协商机构建议加强监督机构的权力,因为目前提供的保障被认为是不够的。从部门视频保护委员会开始,最初的设计目的是制衡,但事实上,其行动不仅有限。省长在决定批准或拒绝安装请求之前会咨询这些内容。但他们的意见纯粹是建议性的。 CNCDH 指出,另一个控制机构 CNIL 本身远没有足够的人力资源,无法对所有城市进行事后控制。
因此,该机构建议加强这两个机构的控制任务,例如发布这些委员会的意见绑定。后者的组成也应进行修改,特别是纳入由权利捍卫者指定的人员。
AI偏见问题
然后,当局特别关注 VSA,提出了算法工具中不同类型偏差的问题。事实上,这些设备主要针对白人男性比例过高的图像进行训练,这可能会对白人男性比例较低的人产生负面影响。 ” “换句话说,软件在识别非洲人后裔时会犯更多错误,尤其是在识别女性时。和“导致(可能)逮捕被错误识别为通缉犯的人”,注意机构。
问题是,今天,“偏见控制目前看来只是一厢情愿»,她后悔了。识别机器在学习过程中保留的偏差几乎是不可能的。 CNCDH 要求“VSA 软件的任何用户都确保其不存在歧视,如果没有,请采取一切适当措施进行补救»。
对人力代理不足的控制
咨询委员会认为为 VSA 实验计划的另一项保障措施是不够的。法国立法规定软件与监控摄像头相结合“永久处于控制之下» 人类代理人。但人类代理人会发现自己更有能力表演作为机器的控制器,估计 CNCDH。特别是考虑到“每个人遵循计算机程序产生的建议或警报的倾向(有时称为“自动化偏差”)”。 CNCDH 建议公共当局考虑如何有效保证代理人面对机器警报时的自主权。
我们对公共空间的观念发生了深刻的变革
更多的 ”不受 VSA 使用条款的控制“, 这是 ”它的使用原则值得质疑 »,咨询委员会写道。首先是因为“公民(通常)不会详细了解 VSA 检测到的物体和情况”。这种类型的设备通常需要提前通知被拍摄者。
问题:用于警告用户公共道路上存在 VSA 的显示板不够明显,并且没有包含足够的信息 - 例如设备的用途、负责处理的人员、向其提出上诉的可能性咨询机构指出,CNIL。
或者, ”(这些工具)可能会让人产生一种被加强监视的感觉。”这绝非微不足道:“这些发展和看法通过消除公共空间中的任何私人维度,深刻地颠覆了我们对公共空间的概念。 CNCDH 回顾说,历史上公共空间的目的是成为一个匿名流通的场所,允许行使自由并尊重私人生活。»,撰写独立机构。
“最终面临的问题是社会选择”
该机构通常呼吁公共当局重新考虑他们加速视频保护设备部署的愿望。伊尔 «与 CNIL 联手要求组织有关 VSA 使用的民主辩论»。汽车和 «保障公共安全是合法目标» (...), «然而,这必须引起详细的审查,从要求尽量减少它们在公共空间的存在及其影响开始»。
CNCDH 的言论尤其严厉:“最终面临的问题是社会选择:确保自由、身体和思想的首要地位,并受到维护公共秩序所需的限制,或者相反选择通过普遍和自动化的监视来遏制»。