NYU Tandon工程學院的新研究表明，在招聘過程中使用大型語言模型（LLM）或先進的AI系統可能會無意中導致偏見的結果，尤其是影響女性。
根據技術Xplore這項研究強調了與孕婦有關的就業差距的潛力，即有資格的女性候選人。
產婦和親子關係就業差距
研究團隊由電氣和計算機工程學院副教授Siddharth Garg領導，研究小組探索了LLM中的偏見，例如chatgpt（GPT-3.5），Bard和Claude，關於個人屬性，例如種族，性別，政治隸屬關係以及由於父母職責而缺席的時期。
研究結果表明，儘管種族和性別並沒有顯著影響偏見的結果，但其他屬性，尤其是與產婦和親子關係相關的就業差距，確實觸發了明顯的偏見。
該研究強調了與父母責任有關的僱用偏見的研究領域，尤其是母親行使的責任。該研究旨在開發出強大的審計方法，以發現LLMS中的偏見，並與對就業決策中AI算法的審查的審查保持一致。
鑑於拜登總統的2023年AI行政命令，這項研究變得尤為重要，強調需要解決AI驅動的招聘過程中的潛在偏見。
該研究將“敏感屬性”引入了實驗簡歷，包括種族，性別，政治隸屬關係和父母職責的指標。然後，LLM的任務是根據與工作類別一致性相關的常見招聘查詢評估簡歷，並摘要與就業相關。
AI偏見
該小組指出，種族和性別並沒有顯著影響結果，但是與孕婦和親子關係相關的就業差距引發了嚴重的偏見，克勞德（Claude）在錯誤地分配了簡歷以將簡歷分配給正確的工作類別。
Chatgpt也表現出偏見的結果，儘管頻率少於Claude。該研究強調了LLMS劣勢原本合格的候選人的潛力，尤其是在由於父母職責造成的篩查時期篩查時。
研究表明，LLM的偏見，特別是與父母責任有關的偏見可能導致排除合格的候選人。該研究建議對使用LLM在就業決策中的使用進行持續審查，從而強調對無偏AI系統的需求。
它還承認，通過仔細考慮和培訓，LLM可以在僱用過程中發揮公平而有價值的作用。該研究利用了匿名簡歷的數據集，重點關注信息技術（IT），教師和施工等工作類別。
該研究不僅闡明了流行的LLM中的偏見，而且還提倡持續努力審問在就業環境中使用這些模型的合理性。
“總體而言，這項研究總的來說，我們必須繼續審問使用LLM在就業中使用LLM的健全性，以確保我們要求LLM向我們證明他們是公正的，而不是相反。但是我們也必須承擔LLM的可能性，實際上，LLM可以在僱用中起用且公平的作用，” Garg在一份聲明中說。
該研究的結果是出版在Arxiv中。
