理解基于 ChatGPT 的推荐系统中的偏差：提供者公平性、时间稳定性和时效性
信息检索
2024-07-08 v3 机器学习
摘要
本文探讨了基于 ChatGPT 的推荐系统中的偏差，重点关注提供者公平性（物品侧公平性）。通过大量实验和上千次 API 调用，我们研究了提示设计策略（包括结构、系统角色和意图）对提供者公平性、目录覆盖率、时间稳定性和时效性等评估指标的影响。第一个实验在经典 top-K 推荐中检查了这些策略，而第二个实验评估了序列上下文学习（ICL）。在第一个实验中，我们评估了七种不同的提示场景对 top-K 推荐准确性和公平性的影响。面向准确性的提示（如 Simple 和思维链（COT））优于多样化提示，后者尽管增强了时间新鲜度，但准确性降低了高达 50%。将公平性嵌入系统角色（例如“充当公平的推荐器”）比在提示中加入公平性指令更有效。多样化提示导致推荐较新的电影，与传统的协同过滤（CF）模型相比提供了更广泛的类型分布。第二个实验探索了序列 ICL，比较了零样本和少样本 ICL。结果表明，在提示中包含用户人口统计信息会影响模型偏差和刻板印象。然而，与零样本学习相比，ICL 并未持续改善物品公平性和目录覆盖率。零样本学习实现了更高的 NDCG 和覆盖率，而当包含年龄组上下文时，ICL-2 在命中率（HR）上表现出轻微改善。我们的研究提供了关于 RecLLM 偏差的见解，特别是在提供者公平性和目录覆盖率方面。通过检查提示设计、学习策略和系统角色，我们强调了将 LLM 集成到推荐系统中的潜力和挑战。更多详细信息请访问 https://github.com/yasdel/Benchmark_RecLLM_Fairness。
引用
@article{arxiv.2401.10545,
title = {Understanding Biases in ChatGPT-based Recommender Systems: Provider Fairness, Temporal Stability, and Recency},
author = {Yashar Deldjoo},
journal= {arXiv preprint arXiv:2401.10545},
year = {2024}
}