多样化视角的公平抽取式摘要
计算与语言
2024-04-02 v2
摘要
来自不同社会和人口群体的人员就产品评论、医疗、法律和政治等广泛话题表达了多样化的视角和冲突的意见。公平的摘要应全面覆盖多样化视角，而不低估某些群体。然而，当前摘要度量和大语言模型（LLM）评估方面的工作尚未探索公平抽取式摘要。在本文中，我们系统地研究了用户生成数据的公平抽取式摘要。我们首先将抽取式摘要中的公平性形式化定义为不低估任何人群体的视角，并提出了四种无参考自动度量，通过测量目标与源视角之间的差异来实现。我们在从社交媒体、在线评论和记录转录本收集的六个数据集上评估了九个 LLM，包括三个 GPT 模型、四个 LLaMA 模型、PaLM 2 和 Claude。实验表明，模型生成的和人工撰写的参考摘要都存在公平性低的问题。我们对影响公平性的常见因素进行了全面分析，并提出了三种简单但有效的缓解不公平摘要的方法。我们的数据集和代码可在 https://github.com/psunlpgroup/FairSumm 获取。
引用
@article{arxiv.2311.07884,
title = {Fair Abstractive Summarization of Diverse Perspectives},
author = {Yusen Zhang and Nan Zhang and Yixin Liu and Alexander Fabbri and Junru Liu and Ryo Kamoi and Xiaoxin Lu and Caiming Xiong and Jieyu Zhao and Dragomir Radev and Kathleen McKeown and Rui Zhang},
journal= {arXiv preprint arXiv:2311.07884},
year = {2024}
}
备注
NAACL 2024