在国家标准技术研究院(NIST)的脚后跟生物识别面部识别准确性的人口统计学差异,人工智能当局和记者Karen Hao麻省理工学院技术评论,最近解释说,“偏见可以在[AI]深度学习过程的许多阶段蔓延”,因为“计算机科学的标准实践并非旨在检测到它”。
Data&Society Research Institute的博士后候选人Andrew Selbst解释说:“在算法系统中修复歧视并不能轻易解决。”社会技术系统中的公平和抽象。
该论文的作者包括Danah Boyd,Sorelle A. Friedler,Suresh Venkatasubramanian和Janet Vertesi,添加了计算机,``公平的ML社区社区的关键目标是开发基于机器的学习系统,这些系统一旦引入社会环境,就可以实现社交和法律成果,例如公平,正义和正当程序。”该论文的作者(包括Danah Boyd,Sorelle A. Friedler,Suresh A. Friedler,Suresh venkatasubramanian和Janet Vertesi,notection concation concation concect of Concect of Concect'' - 用于定义公平和歧视的概念,产生公平的学习算法,并在决策管道的不同阶段进行干预以产生“公平”的结果。”
他们指出:“然而,我们认为这些概念使技术干预措施无效,不准确,有时是危险的误导,当他们进入围绕决策系统的社会背景时。我们与五个“陷阱”概述了这一不匹配的“陷阱”,即即使是在与传统的数据科学相比,即使是更多的上下文,也可以落入更多的背景下,即使是更多的上下文 - 瓦尔。
该论文的研究人员指出,他们借鉴了“科学和技术研究中的社会技术系统的研究,以解释为什么发生这种陷阱以及如何避免它们。最后,我们建议技术设计师可以通过在过程而不是解决方案中的设计来调整设计的方法,而不是在陷阱中减轻陷阱,而不是绘制抽象界,而不是绘制社会参与者而不是纯粹的技术参与者。”
Hao explained that “(o)ver the past few months, we've documented how the vast majority of AI's applications today are based on the category of algorithms known as deep learning, and how deep-learning algorithms find patterns in data. We've also covered how these technologies affect people's lives … Machine-learning algorithms use statistics to find patterns in data. So if you feed it historical crime data, it will pick out the patterns associated with霍说,犯罪,指出:“(b)由于大多数风险评估算法是专有的,因此也不可能审问他们的决定或使他们承担责任。”
因此,最近,一个由100多个公民权利,数字司法和社区组织组成的广泛联盟发出了一份共同的公民权利问题声明,他们强调了采用基于算法的决策工具的担忧。
HOA引用了一个例子,解释了为什么“ AI偏见很难解决”,“未知的未知数。在模型的构造过程中,偏见的引入并不总是显而易见的,因为您可能不会意识到数据和选择的下游影响直到很久以后。一旦您这样做,就很难追溯地识别出偏见的位置,然后确定该如何摆脱它的偏见。”
她写道,不完美的过程是另一个问题,他说:“深度学习中的许多标准实践并不是考虑到偏见的发现。深入学习模型在部署之前进行了测试,以进行绩效测试,从而创造出似乎是捕捉偏见的绝佳机会。但是,实际上是这样的训练,在训练中训练您的一项训练,这是在实践中进行训练,以训练您的一项验证,以验证您的一项验证,以验证您的另一项验证,并验证了另一个验证的验证。您的模型的性能与您用来训练的数据相同。
HOA还归咎于“缺乏社会环境”,这意味着“教导计算机科学家通常与思考社会问题的最佳方法兼容的方式。”
Hoa认为,公平性的定义根本没有“清楚偏见应该是什么样的,” Hoa指出,“这不仅在计算机科学中是真的 - 这个问题在哲学,社会科学和法律中具有悠久的辩论历史。计算机科学的不同之处在于,公平性的概念必须以数学为单位的概念来确定,因此在数学上定义了一个不平衡的负面率。公平性的数学定义也是相互排斥的。”
例如,她问:“(d)OES公平意味着……黑人和白人的比例应获得高风险的评估得分?或者,无论种族如何,相同的风险都应该导致相同的分数?不可能同时履行两个定义,因此在某个时候,您必须在其他领域中选择一个固定的问题,而在某个领域中,这是一个固定的时间。
塞尔布斯特说:“通过修复答案,您将解决一个看起来与社会倾向于考虑这些问题截然不同的问题。”
“幸运的是,”
“A new wave of decision-support systems are being built today using AI services that draw insights from data (like text and video) and incorporate them in human-in-the-loop assistance. However, just as we expect humans to be ethical, the same expectation needs to be met by automated systems that increasingly get delegated to act on their behalf,” noted researchers Biplav Srivastava, and Francesca Rossi, in their paper,达到AI服务的组合偏差评级。
“道德行为的一个非常重要的方面是避免(意图,感知或意外)偏见,”他们说:“当数据分配不够代表性的自然现象不够代表性时,就会出现对服务的自然现象的代表性。服务的可能偏见的行为很难检测到,如果不是从SCRATCH中使用AI服务,则很难处理和处理培训数据,因为训练数据集不可用。”