計算所得稅,CAF的社會福利,與欺詐作鬥爭,支持求職者...法國政府越來越多地使用演算法對於人工智能,權利的捍衛者聽起來很警報。在報告於11月13日(星期三)發布,這個獨立的行政權限負責捍衛我們在多個部門的權利和自由,”擔心公共服務對用戶權利權利的“算法”的風險s公共服務»。
算法和AI系統越來越多地用於“自動化,標準化甚至改進和/或加速某些程序或某些階段的行政程序»。除了使用聊天機器人直接回答用戶外,某些公共服務還使用AI系統,在許多領域,例如社會援助(CAF),稅收(收入稅的計算),學校取向(Parcoursup)或對求職者的監視(法國)工作)。
冒著我們的權利和自由的風險?
但是,現在越來越多的個人行政決策是基於“AI算法或系統提供的結果自2021年以來捍衛權利的克萊爾·海頓(ClaireHédon)解釋說,這並非沒有風險。算法的歧視。
這一點已經由媒體和權利國防協會多次提高。在法國,2023年11月的淨扣除淨的正交算法針對目標的國家家庭津貼CAISSE(CNAF)根據協會的說法,最不穩定的。這些工具允許作為與社會欺詐鬥爭的一部分,CNAF決定要控制哪個受益人。
該案現已提交國務委員會。上個月,15個協會已經開始旨在結束CNAF對該評級算法的使用。
另請閱讀:這些關聯希望刪除CAF符號算法...
直到保護措施在實踐中幾乎沒有應用?
但是,回憶起權利的捍衛者,政府可以自2018年法律以來,其一些決定基於對個人數據的自動處理,但必須遵守多種條件。但是這項立法為實踐中應用的鬥爭所規定的保障措施。 “”例如,法律要求將用戶告知用戶與他們有關的自動決定,但是很難定義此信息所需的細節類型和級別才能有用且可訪問»,請注意權威。
換句話說,用戶不一定要意識到這是這樣的決定的算法。 “”制定過程,自動化和操作甚至可能的偏見的過程是直接可見的“遺憾的是權利的捍衛者。
法律通常要求行政部門發布“定義主要算法治療的規則»。但實際上,它幾乎從未應用,特別是因為在不遵守此義務的情況下沒有製裁。
另一個問題:AI系統應該由人類監督。實際上,他們的干預措施通常太有限了。權利的捍衛者回想起有必要的“尊重用戶的權利,是分配給公共管理人員以及現場代理的目標的核心,而與算法的部署有關,不讓政府集中於算法系統,關於優先目標成本和人員降低獲利指標 »。
另請閱讀:在美國,護理人員被迫遵循算法的指示
真正的人類監督,促進補救措施...權利捍衛者的建議
獨立當局為政府和政府提出了一些建議。她認為,首先,應系統地了解用戶在與他們有關的決策中使用的算法的作用。
政府也應“真正保證在算法決策中有效的人類監督,並有能力在必要時採取行動和修改該過程»。克萊爾·希登(ClaireHédon)還建議更好地保護我們免受算法的影響,這可能導致歧視。
另請閱讀:為什麼仍然是性別歧視的算法
獨立機構不再考慮使用敏感的個人數據,例如人的性取向,其種族或種族血統,其政治,宗教觀點,工會成員資格,健康數據等在AI系統中。最後,它建議促進用戶針對算法的決定,並在發生爭議的情況下進行系統的訴訟。
來源 : 2024年11月13日的報告