旅行。莎拉·懷索基(Sara Wysocki) 是一名五年級老師，受到上級和學生的讚揚，2011 年，她對被華盛頓地區解僱感到驚訝。們的考試以來，她就沒有能力。她最終發現，之前的老師誇大了結果，從而扭曲了整個資料庫。這個故事只是某些設計不當的演算法所造成的不良影響的一個平庸的例子。美國數學家凱西·奧尼爾稱之為大規模殺傷性武器（WMD），即數學破壞演算法。
兩年前，這位悔悟的分析師和占領華爾街的人物專門寫了一本書來討論這些有毒的數學模型。演算法，定時炸彈因其遠見卓識而受到大西洋彼岸的稱讚，並於 2017 年在法國上映。競技場版本塞德里克·維拉尼 (Cédric Villani) 作序。它們遠非堅持不懈的科學嚴謹性，也遠非公正的決策工具。他們的資料集有時是偽造的，就像這位老師的情況一樣。但他們往往只是存在偏見，就像亞馬遜在招募中測試的人工智慧一樣。代理商路透社她透露，她傾向於將女性排除在技術職位之外，因為她以公司裡的男性為榜樣，而這些職位已經佔據了 60%。
他們削弱了最脆弱的群體
演算法總是源自於人類選擇的標準。在對美國大學進行排名時選擇不考慮學費意味著偏向最昂貴的院校，並進一步增強它們的吸引力，從而損害其他院校。另一個例子：犯罪預測軟體。其後果是對貧困社區的檢查增加，並因飲酒而逮捕未成年人。有些青少年會發脾氣，如果拒絕服從，就會直接被送進監獄。如果他們住在富裕的社區，他們就永遠不會擔心，並且仍然沒有犯罪記錄。
我們也以 LSI-R 問卷為例，監獄囚犯必須在大西洋彼岸完成問卷，以評估他們再犯的風險。在愛達荷州和科羅拉多州，答案用於決定判決。然而，如果一個人的家庭成員曾經觸犯法律，演算法將更傾向於將他們歸類為風險組。然後，他將受到更重的刑罰，在監獄裡待的時間更長，出獄後找到工作的機會也更少。惡性循環並沒有就此結束。「如果他再次犯罪，累犯模型將能夠取得新的成功。但實際上，正是模型本身助長了不健康的循環，並有助於維持這個現實。”，凱西·奧尼爾強調。因此，這些大規模殺傷性武器以其錯誤為食，並隨著時間的推移無情地加強，從而加劇不平等並進一步削弱最脆弱的群體。
我們不能再繼續做旁觀者
這個想法並不是要羞辱所有演算法。許多人有效地履行了自己的職責，而沒有產生有害影響，特別是如果涉及擊敗世界圍棋冠軍，例如，有些人甚至在成功發現強迫勞動時服務於公眾利益。問題在於，它們在人們生活的關鍵時刻的多個領域被不加區別地使用。法國社會也已經面臨這個問題。他們透過 Parcoursup 影響高等教育的方向、獲得學分、我們的保險金額、招聘、針對我們做廣告，甚至試圖透過社群網路影響我們的意見。
凱茜·奧尼爾的目標是呼籲我們節制：我們不能指望演算法能夠解決評估教師等複雜任務。她希望我們能夠超越對其有效性的盲目相信。公民必須要求這些模型如何運作的透明度，並保持警惕，以便不斷地重新評估它們，以便糾正和改進它們。「讓我們現在開始建立一個框架，以確保演算法能夠長期負責。讓我們以此為基礎，證明其合法性、公平性和事實依據”，凱茜·奧尼爾建議。她總結道，我們不能再繼續充當旁觀者。如果情況並非如此，我們將來將注定要服從神秘的黑盒子，它們將控制我們的大部分生活。
演算法，定時炸彈，Cathy O'Neil，les Arènes，352 頁，20.90 歐元。
