該諮詢機構的功能是就人權問題向政府提供建議,它就巴黎奧運期間和明年 3 月之前部署的演算法視訊監控 (VSA) 實驗提出建議。對 CNCDH 來說,公共當局必須恢復「對基本權利和自由的攻擊與保護公共秩序之間」的「打破的平衡」。她感到震驚,這關乎「我們對社會的選擇」。
保障不足、控制機構有待加強、社會選擇…國家人權諮詢委員會(CNDH)在大約十天前在其網站上發布的官方公報(7月2日星期二)發布的一份通知中,為法國政府提供人權諮詢的機構猛烈抨擊了現行的人權體系VSA,由演算法驅動的視訊監控。
雖然人工智慧增強相機有經驗的之前、期間和之後巴黎奧運,與“更重要的VSA部署»,至少可以說,CNDH 對視訊監控設備的當前保證進行了嚴格的評估。需要提醒的是,VSA 於 2023 年 5 月 19 日在法國(歐洲首次)通過與巴黎奧運會相關的法律首次獲得授權:作為實驗,授權至 2025 年 3 月。獨立機構在其諮詢意見中提出了一系列建議,以恢復「對基本權利和自由的攻擊與對公共秩序的保護之間的平衡被打破」。
她還要求“公共當局正在重新考慮加速部署視訊保護設備的願望”,解釋“要求組織有關演算法視訊監控使用的民主辯論» 與法國隱私監管機構 CNIL 合作。
監視的系統化、私人行為者參與主權任務…
CNCDH 解釋說,自 20 世紀 90 年代末以來,監視器在變得司空見慣之前就已部署在公共場所。該機構回顧說,“這種警察技術只能在地點、時間和目的的嚴格合理限制內獲得授權,並透過對其安裝和實施的有效控制來保證」。為此添加了人工智慧(AI),負責檢測行為“例外» 例如人群流動、異常高的密度或存在被遺棄的行李。
這項最新技術是視訊保護連續性的一部分,同時,(它)似乎改變了其性質»,請注意l'機構諮詢。 L'IA «一方面允許監視系統化和強化,另一方面允許私人行為者(軟體設計者)前所未有地參與行使主權使命»,她補充道。事實上,國家已經呼籲私人公司設計這些視訊監控工具中使用的演算法,例如公報相機。
該機構指出的另一個問題:「這個更新的視訊監控系統“ 可以 ”誘發警察與民眾之間的新型關係,以不信任和距離為特徵»。銫 «新科技再次引發人們對任何人行使其基本權利和自由的可能性受到挑戰的恐懼,包括在公共場所匿名示威的自由»,他寫道。
VSA 在“立法薄弱»
該諮詢機構指出,該 VSA 是在“立法薄弱”,要求政府“將必要性和相稱性要求置於這些侵犯基本權利和自由的設備合法性的核心,當添加人工智慧時更是如此»。
她認為,原則上相機不應該在一天中的所有時間和一年中的所有時間都處於活動狀態。如果必須向省長提出安裝這些設備的請求,則應“暴露擾亂公共秩序的風險» 這證明了這種呼籲的合理性。遵守這些必要性和相稱性要求應遵守系統獨立控制CNCDH 繼續說道。今天,行政法官的干預確實取決於行動她感到遺憾的是,「制度的有效性」依賴維權協會。
各部門視訊保護委員會和CNIL的監督權力必須加強
協商機構建議加強監督機構的權力,因為目前提供的保障被認為是不夠的。從部門視訊保護委員會開始,最初的設計目的是製衡,但事實上,其行動不僅有限。省長在決定批准或拒絕安裝請求之前會諮詢這些內容。但他們的意見純粹是建議性的。 CNCDH 指出,另一個控制機構 CNIL 本身遠遠沒有足夠的人力資源,無法對所有城市進行事後控制。
因此,該機構建議加強這兩個機構的控制任務,例如發布這些委員會的意見綁定。後者的組成也應進行修改,特別是納入由權利捍衛者指定的人員。
AI偏見問題
然後,當局特別關注 VSA,提出了演算法工具中不同類型偏差的問題。事實上,這些設備主要針對白人男性比例過高的影像進行訓練,這可能會對白人男性比例較低的人產生負面影響。 ” “換句話說,軟體在識別非洲人後裔時會犯更多錯誤,尤其是在識別女性時。和“導致(可能)逮捕被錯誤識別為通緝犯的人”,注意機構。
問題是,今天,“偏見控制目前看來只是一廂情願»,她後悔了。識別機器在學習過程中保留的偏差幾乎是不可能的。 CNCDH 要求“VSA 軟體的任何使用者都確保其不存在歧視,如果沒有,則採取一切適當措施進行補救»。
對人力代理不足的控制
諮詢委員會認為為 VSA 實驗計劃的另一項保障措施是不夠的。法國立法規定軟體與監視攝影機結合“永久處於控制之下» 人類代理人。但人類代理人會發現自己更有能力演員作為機器的控制器,估計 CNCDH。特別是考慮到“每個人遵循電腦程式產生的建議或警報的傾向(有時稱為“自動化偏差”)」。 CNCDH 建議公共當局考慮如何有效保證代理人面對機器警報時的自主權。
我們對公共空間的觀念發生了深刻的變革
更多的 ”不受 VSA 使用條款的控制“, 這是 ”它的使用原則值得質疑 »,諮詢委員會寫道。首先是因為“公民(通常)不會詳細了解 VSA 檢測到的物體和情況」。這種類型的設備通常需要提前通知被拍攝者。
問題:用於警告用戶公共道路上存在 VSA 的顯示板不夠明顯,並且沒有包含足夠的資訊 - 例如設備的用途、負責處理的人員、向其提出上訴的可能性諮詢機構指出,CNIL。
或者, ”(這些工具)可能會讓人產生一種被加強監視的感覺。這絕非微不足道:「這些發展和看法透過消除公共空間中的任何私人維度,深刻地顛覆了我們對公共空間的概念。 CNCDH 回顧說,歷史上公共空間的目的是成為一個匿名流通的場所,允許行使自由並尊重私人生活。»,撰寫獨立機構。
“最終面臨的問題是社會選擇”
該機構通常呼籲公共當局重新考慮他們加速視訊保護設備部署的願望。伊爾 «與 CNIL 聯手要求組織有關 VSA 使用的民主辯論»。汽車和 «保障公共安全是合法目標» (...), «然而,這必須引起詳細的審查,從要求盡量減少它們在公共空間的存在及其影響開始»。
CNCDH 的言論尤其嚴厲:「最終面臨的問題是社會選擇:確保自由、身體和思想的首要地位,並受到維護公共秩序所需的限制,或相反選擇受到普遍和自動化監視的限制»。