基于实体的自动摘要政治偏见评估

日益增长的文献表明 NLP 系统可能编码社会偏见；然而，摘要模型的政治偏见仍相对未知。本工作中，我们使用实体替换方法考察新闻文章自动生成摘要中对政治人物的刻画。我们开发了一个基于实体的计算框架，以评估若干抽取式与生成式摘要器对唐纳德·特朗普和乔·拜登两位政治人物的敏感性。我们发现实体替换后这些摘要存在一致差异，例如在同一文章语境下降低对特朗普存在的强调，以及对特朗普相对于集体性美国政府（即政府）更具个人化的呈现。当实体在源文章中大量出现时，这些摘要差异最为显著。我们的刻画为未来摘要偏见研究及关于自动摘要理想品质的规范性讨论奠定了基础。