提示与偏见
计算与语言
2024-08-12 v1 人工智能
计算机与社会
摘要
本文探讨了在大型语言模型 (LLM) 和视觉语言模型 (VLM) 中使用名字的影响，尤其是在受伦理决策任务影响的提示下。我们提出了一种方法，通过在伦理标注文本情境后附加名字，以揭示模型输出中的人口统计偏见。该研究涉及超过 300 个代表不同性别和族裔背景的名字，测试于数千个道德情境。遵循社会科学中的审计方法，我们提出了详细的分析框架，对流行的 LLM/VLM 进行评估，以推动负责任 AI 领域的发展，强调识别和缓解这些系统中偏见的重要性。此外，我们引入了一种新基准——实用情境基准 (PSB)，旨在评估在日常决策情境以及实际情境中（例如批准抵押贷款或保险）LLM 可能被用于做出明智决策时是否存在性别或人口统计偏见。该基准允许对不同人口统计类别中模型行为进行全面比较，凸显在实际应用中可能出现的风险和偏见。
引用
@article{arxiv.2408.04671,
title = {Prompt and Prejudice},
author = {Lorenzo Berlincioni and Luca Cultrera and Federico Becattini and Marco Bertini and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2408.04671},
year = {2024}
}
备注
Accepted at ECCV workshop FAILED