偏 Stereotype 还是 Personalization？用户身份偏差影响聊天机器人推荐
计算与语言
2025-06-03 v2
摘要
虽然个人化推荐通常被用户所期望，但在实际中区分偏见和 Personalization 的情况往往困难：我们发现模型会生成种族偏 Stereotype 的推荐，无论用户是否通过明确的指示或潜在的线索有意或无意地透露了其身份。我们表明，当人们使用大型语言模型（LLM）生成推荐时，LLM 会产生既反映用户想要的内容，又反映用户是谁的响应。我们认为，聊天机器人应在推荐受用户揭露身份特征影响时透明地进行指示，但我们注意到它们目前未能做到这一点。我们的实验显示，尽管用户揭露的身份显著影响模型推荐（p < 0.001），但模型响应在用户查询中掩盖了这一事实。这种偏见和缺乏透明度在多个流行消费级 LLM 中以及针对四个美国种族群体中均存在。
引用
@article{arxiv.2410.05613,
title = {Stereotype or Personalization? User Identity Biases Chatbot Recommendations},
author = {Anjali Kantharuban and Jeremiah Milbauer and Maarten Sap and Emma Strubell and Graham Neubig},
journal= {arXiv preprint arXiv:2410.05613},
year = {2025}
}