基于覆盖度的多文档摘要公平性

多文档摘要中的公平性指的是系统是否能够公平地代表来自不同社会属性值下文档的信息。公平的摘要能够为读者提供全面的视角。先前的工作侧重于使用基于统计公平性的比例代表性(Proportional Representation)来量化摘要层面的公平性。然而，比例代表性不考虑输入文档中的冗余问题，忽略了语料库层面的不公平。在本工作中，我们提出了一种新的摘要层面公平性度量——平等覆盖度(Equal Coverage)，其基于不同社会属性值下文档的覆盖情况，并考虑文档内部的冗余。为检测语料库层面的不公平，我们提出了一种新的语料库层面度量——覆盖公平性(Coverage Parity)。我们的human评估显示，我们的度量方法与我们对公平性的定义更吻合。在使用我们的度量方法评估了十三种不同大语言模型的公平性后，我们发现Claude3-sonnet在所有被评估的模型中公平性最佳。我们还发现几乎所有的大语言模型都会过度代表来自不同社会属性值的信息。代码已公开于https://github.com/leehaoyuan/coverage_fairness。