旅行。莎拉·怀索基 (Sara Wysocki) 是一名五年级老师，受到上司和学生的赞扬，2011 年，她对被华盛顿地区解雇感到惊讶。负责给她打分的算法得出的结论是，自从孩子们的考试以来，她就没有能力。与去年相比，成绩有所下降。她最终发现，之前的老师夸大了结果，从而扭曲了整个数据库。这个故事只是某些设计不当的算法所造成的不良影响的一个平庸的例子。美国数学家凯西·奥尼尔将其称为大规模杀伤性武器（WMD），即数学破坏算法。
两年前，这位悔悟的分析师和占领华尔街的人物专门写了一本书来讨论这些有毒的数学模型。算法，定时炸弹因其远见卓识而受到大西洋彼岸的称赞，并于 2017 年在法国上映。竞技场版本塞德里克·维拉尼 (Cédric Villani) 作序。它们远非坚持不懈的科学严谨性，也远非公正的决策工具。他们的数据集有时是伪造的，就像这位老师的情况一样。但他们往往只是存在偏见，就像亚马逊在招聘中测试的人工智能一样。代理机构路透社她透露，她倾向于将女性排除在技术职位之外，因为她以公司里的男性为榜样，而这些职位已经占据了 60%。
他们削弱了最脆弱的群体
算法总是源于人类选择的标准。在对美国大学进行排名时选择不考虑学费意味着偏向最昂贵的院校，并进一步增强它们的吸引力，从而损害其他院校。另一个例子：犯罪预测软件。其后果是对贫困社区的检查增加，并因饮酒而逮捕未成年人。一些青少年会发脾气，如果拒绝服从，就会直接被送进监狱。如果他们住在富裕的社区，他们就永远不会担心，并且仍然没有犯罪记录。
我们还以 LSI-R 问卷为例，监狱囚犯必须在大西洋彼岸完成该问卷，以评估他们累犯的风险。在爱达荷州和科罗拉多州，答案用于决定判决。然而，如果一个人的家庭成员曾触犯法律，算法将更倾向于将他们归入风险组。然后，他将受到更重的刑罚，在监狱里呆的时间更长，出狱后找到工作的机会也更少。恶性循环并没有就此结束。“如果他再次犯罪，累犯模型将能够取得新的成功。但实际上，正是模型本身助长了不健康的循环，并有助于维持这一现实。”，凯茜·奥尼尔强调道。因此，这些大规模杀伤性武器以其错误为食，并随着时间的推移无情地加强，从而加剧不平等并进一步削弱最脆弱的群体。
我们不能再继续做旁观者
这个想法并不是要羞辱所有算法。许多人有效地履行了自己的职责，而没有产生有害影响，特别是如果涉及击败世界围棋冠军，例如，有些人甚至在成功发现强迫劳动时服务于公众利益。问题在于，它们在人们生活的关键时刻的多个领域被不加区别地使用。法国社会也已经面临这个问题。他们通过 Parcoursup 影响高等教育的方向、获得学分、我们的保险金额、招聘、针对我们进行广告，甚至试图通过社交网络影响我们的意见。
凯茜·奥尼尔的目标是呼吁我们节制：我们不能指望算法能够解决评估教师等复杂任务。她希望我们能够超越对其有效性的盲目相信。公民必须要求这些模型如何运作的透明度，并保持警惕，以便不断地重新评估它们，以便纠正和改进它们。“让我们现在开始构建一个框架，以确保算法能够长期负责。让我们以此为基础，证明其合法性、公平性和事实依据”，凯茜·奥尼尔建议道。她总结道，我们不能再继续充当旁观者。如果情况并非如此，我们将来将注定要服从神秘的黑匣子，它们将控制我们的大部分生活。
算法，定时炸弹，Cathy O'Neil，les Arènes，352 页，20.90 欧元。
