理解社交多文档摘要中位置偏置对公平性的影响
计算与语言
2024-05-06 v1 人工智能
摘要
文本摘要模型通常致力于优化流畅性、相关性和连贯性等质量方面,尤其是在新闻文章语境下。然而,随着摘要模型被用于总结来自社交媒体等多样化文本来源,这些来源涵盖了广泛的人口统计用户群体。因此,不仅要评估生成摘要的质量,还要评估其在多大程度上能公平地代表不同社交群体的意见。位置偏置是摘要中长期已知的问题,在社交多文档摘要语境下关注不足。我们通过分析输入文档中群体顺序对总结推文影响,深入探讨了这一现象。具体分析了来自三种不同语言社区(非裔美国英语、希洲文化语言、白人对齐语言)的推文。我们的实证分析表明,尽管摘要的文本质量在输入文档顺序下保持一致,但就公平性而言,结果因输入数据中方言群体呈现方式而有很大差异。我们的研究结果表明,位置偏置在社交多文档摘要中表现方式不同,对摘要模型的公平性产生严重影响。
引用
@article{arxiv.2405.01790,
title = {Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization},
author = {Olubusayo Olabisi and Ameeta Agrawal},
journal= {arXiv preprint arXiv:2405.01790},
year = {2024}
}
备注
Accepted at VarDial 2024