NYU Tandon工程学院的新研究表明，在招聘过程中使用大型语言模型（LLM）或先进的AI系统可能会无意中导致偏见的结果，尤其是影响女性。
根据技术Xplore这项研究强调了与孕妇有关的就业差距的潜力，即有资格的女性候选人。
产妇和亲子关系就业差距
研究团队由电气和计算机工程学院副教授Siddharth Garg领导，研究小组探索了LLM中的偏见，例如chatgpt（GPT-3.5），Bard和Claude，关于个人属性，例如种族，性别，政治隶属关系以及由于父母职责而缺席的时期。
研究结果表明，尽管种族和性别并没有显着影响偏见的结果，但其他属性，尤其是与产妇和亲子关系相关的就业差距，确实触发了明显的偏见。
该研究强调了与父母责任有关的雇用偏见的研究领域，尤其是母亲行使的责任。该研究旨在开发出强大的审计方法，以发现LLMS中的偏见，并与对就业决策中AI算法的审查的审查保持一致。
鉴于拜登总统的2023年AI行政命令，这项研究变得尤为重要，强调需要解决AI驱动的招聘过程中的潜在偏见。
该研究将“敏感属性”引入了实验简历，包括种族，性别，政治隶属关系和父母职责的指标。然后，LLM的任务是根据与工作类别一致性相关的常见招聘查询评估简历，并摘要与就业相关。
AI偏见
该小组指出，种族和性别并没有显着影响结果，但是与孕妇和亲子关系相关的就业差距引发了严重的偏见，克劳德（Claude）在错误地分配了简历以将简历分配给正确的工作类别。
Chatgpt也表现出偏见的结果，尽管频率少于Claude。该研究强调了LLMS劣势原本合格的候选人的潜力，尤其是在由于父母职责造成的筛查时期筛查时。
研究表明，LLM的偏见，特别是与父母责任有关的偏见可能导致排除合格的候选人。该研究建议对使用LLM在就业决策中的使用进行持续审查，从而强调对无偏AI系统的需求。
它还承认，通过仔细考虑和培训，LLM可以在雇用过程中发挥公平而有价值的作用。该研究利用了匿名简历的数据集，重点关注信息技术（IT），教师和施工等工作类别。
该研究不仅阐明了流行的LLM中的偏见，而且还提倡持续努力审问在就业环境中使用这些模型的合理性。
“总体而言，这项研究总的来说，我们必须继续审问使用LLM在就业中使用LLM的健全性，以确保我们要求LLM向我们证明他们是公正的，而不是相反。但是我们也必须承担LLM的可能性，实际上，LLM可以在雇用中起用且公平的作用，” Garg在一份声明中说。
该研究的结果是出版在Arxiv中。
