一對我們的研究人員說，在生物識別技術和其他應用程序中使用的無監督的計算機視覺模型可以從人們在互聯網上描繪的方式來學習令人討厭的社交偏見，這是大量培訓圖像的來源。
科學家說，他們之所以知道這一點，是因為他們創建了他們所說的是第一個在無監督的圖像模型中檢測和量化社會偏見（包括膚色）的系統系統方法。實際上，他們聲稱在實驗中復制了15種人類偏見中的八個。
這項研究一直是發表在卡內基·梅隆大學（Carnegie Mellon University）和喬治·華盛頓大學（George Washington University）的卡內基·梅隆大學（Carnegie Mellon University）的瑞安·史蒂德（Ryan Steed）和艾琳·卡利斯坎（Aylin Caliskan）的瑞安·史蒂德（Ryan Steed）上。
在一對最先進的圖像模型（IGPT和SIMCLRV2）中發現了具有統計學意義的性別，種族，身體大小和交叉偏見，這些模型已在Imagenet上進行了預先訓練。
作為著名的通過VentureBeat，Imagenet是從網頁上刪除的流行圖像數據集。根據公司金融出版商的說法，這也是“有問題的”。
Business Magazine Fast Company查看了Imagenet的3,000個類別，成立“壞人”，“ w夫”，“吸毒者”等。
作者得出的結論是，由於自然語言處理的進步，開發人員在培訓視覺模型和其他任務方面已被自滿。圖像數據集中存在垃圾數據，並且系統不會過濾它，甚至沒有提醒數據科學家和開發人員的存在。
該論文警告說，社區“預先訓練的模型可能會從人們在培訓數據中描繪的方式嵌入所有類型的有害人類偏見”。模型設計中做出的選擇“確定這些偏見是否以及如何將其傳播成下游的危害”。
