当中性摘要并不中性：量化LLM生成新闻摘要的政治中立性
计算与语言
2024-10-15 v1 计算机与社会
摘要
在叙事日益由算法策划的时代，研究LLM的政治中立性至关重要。本文通过极化新闻的抽象式文本摘要这一视角，提出了量化LLM政治中立性的新方法。我们考察了美国当前五个热点议题：堕胎、枪支管制/权利、移民、医疗改革和LGBTQ+权利。通过对包含大量新闻文章（具体数量）的语料库进行分析，我们的研究揭示了多个知名LLM存在持续偏向民主党的趋势，其中枪支管制和医疗改革议题的极化偏差最为显著（极化差异分别为-9.49%和-6%）。进一步分析发现，在这些议题上，LLM输出的词汇高度趋同（民主党倾向摘要与共和党倾向摘要的词汇重叠率达55%）。鉴于美国大选临近，我们的研究结果具有重要意义。
引用
@article{arxiv.2410.09978,
title = {When Neutral Summaries are not that Neutral: Quantifying Political Neutrality in LLM-Generated News Summaries},
author = {Supriti Vijay and Aman Priyanshu and Ashique R. KhudaBukhsh},
journal= {arXiv preprint arXiv:2410.09978},
year = {2024}
}
备注
12 pages, 3 figures, 4 tables