LLM 时代信息检索系统中的偏见与不公平：新挑战
信息检索
2024-08-22 v2 人工智能
计算与语言
摘要
随着大语言模型 (LLMs) 的快速发展，信息检索 (IR) 系统，如搜索引擎和推荐系统，正在经历显著的范式转变。这种演进虽然带来了新机遇，却在偏见和不公平性方面引入了新挑战，这可能威胁信息生态系统。本文综述了在 LLMs 集成到 IR 系统后，关于偏见和不公平性问题的旁有工作。我们首先将偏见和不公平问题统一归类为分布不匹配问题，为通过分布对齐来分类各种缓解策略奠定基础。随后，我们系统地探讨了 LLMs 集成到 IR 系统三个关键阶段所引发的具体偏见和不公平问题：数据收集、模型开发和结果评估。在此过程中，我们细致审视和分析了近期文献，关注这些问题的定义、特征及相应的缓解策略。最后，我们指出并突出了一些开放问题和挑战，旨在激励 IR 领域及相关领域的研究者和利益相关者更好地理解和缓解 LLM 时代下 IR 系统的偏见和不公平问题。我们持续维护一个 GitHub 仓库，收录相关论文和资源，地址为 https://github.com/KID-22/LLM-IR-Bias-Fairness-Survey。
引用
@article{arxiv.2404.11457,
title = {Bias and Unfairness in Information Retrieval Systems: New Challenges in the LLM Era},
author = {Sunhao Dai and Chen Xu and Shicheng Xu and Liang Pang and Zhenhua Dong and Jun Xu},
journal= {arXiv preprint arXiv:2404.11457},
year = {2024}
}
备注
KDD 2024 Tutorial&Survey; Tutorial Website: https://llm-ir-bias-fairness.github.io/