ChatGPT 用于推荐是否公平？大语言模型推荐的公平性评估
信息检索
2023-10-18 v3 计算与语言
计算机与社会
摘要
大语言模型（LLMs）的卓越成就催生了一种新颖的推荐范式——基于大语言模型的推荐（RecLLM）。然而需注意，LLM 可能包含社会偏见，因此 RecLLM 所生成推荐的公平性有待进一步考察。为避免 RecLLM 的潜在风险，亟需针对用户侧各类敏感属性评估 RecLLM 的公平性。由于 RecLLM 范式与传统推荐范式存在差异，直接使用传统推荐的公平性基准存在问题。为化解该困境，我们提出了一种名为基于大语言模型推荐的公平性（FaiRLLM）的新基准。该基准包含精心设计的指标及一个涵盖音乐与电影两种推荐场景中八种敏感属性1的数据集。利用我们的 FaiRLLM 基准，我们对 ChatGPT 进行了评估，发现其在生成推荐时仍对某些敏感属性表现出不公平性。我们的代码与数据集可在 https://github.com/jizhi-zhang/FaiRLLM 获取。
引用
@article{arxiv.2305.07609,
title = {Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation},
author = {Jizhi Zhang and Keqin Bao and Yang Zhang and Wenjie Wang and Fuli Feng and Xiangnan He},
journal= {arXiv preprint arXiv:2305.07609},
year = {2023}
}
备注
Accepted by Recsys 2023 (Short)