プリンストン大学とシカゴ大学の研究者たちは、ChatGPT、Claude、Geminiなどの大規模言語モデルが採用プロセスで人間よりも多くの偏見を生み出すことを示す実験を行った。シミュレートされたシナリオでは、モデルは4つの異なる民族グループの候補者を20の異なるポジションに配置する任務を与えられた。すべての候補者の成功確率が同等だったにもかかわらず、モデルは早期の失敗から一般化を始め、特定の民族グループを特定の職種に押し込めるようになった。例えば、Aima候補者が医師として失敗すると、すべてのAima候補者が清掃業務に導かれる結果となった。

実験での偏見のレベルは、人間の参加者のスコアよりも65%高かった。OpenAIのo3モデルなどより発達したモデルは、より強い一般化の傾向があるため、より多くの偏見を示した。研究者たちは、これらのモデルが数学やコーディングなどの分野で小さなデータから迅速な一般化を行うように最適化されていると指摘している。この特性は、論理的な問題を解決する際には有益だが、社会的な判断を下す際には偏見を引き起こす可能性がある。

偏見を減らすためにモデルに公平性の指示を与えるだけでは不十分だった。しかし、多様性を促進する追加の報酬システムを導入すると、偏見は大幅に減少した。また、候補者の教育や年齢などの関連する個人情報が提供されると、民族に基づく分類は減少した。これらの発見は、AIが人間とは異なる方法で偏見を生み出す可能性があり、これらの偏見が現実世界で採用、クレジット審査、または拘留決定などの重要なプロセスに影響を与える可能性があることを示している。