P^3SUM：利用扩散语言模型在新闻摘要中保留作者视角
计算与语言
2024-04-05 v2 机器学习
摘要
在本工作中，我们迈出了设计忠实于作者意图（而不仅仅是文章语义内容）的摘要系统的第一步。以在新闻摘要中保留政治视角为案例研究，我们发现现有方法在超过50%的摘要中改变了新闻文章的政治观点和立场，错误地表述了新闻作者的意图和视角。因此我们提出P^3SUM，一种由政治视角分类器控制的基于扩散模型的摘要方法。在P^3SUM中，生成摘要的政治倾向在每一步解码时都被迭代评估，任何偏离文章原始立场的情况都会产生反向传播到嵌入层的损失，从而在推理时引导摘要的政治立场。在三个新闻摘要数据集上的大量实验表明，P^3SUM在立场保留成功率方面比最先进的摘要系统和大型语言模型高出至多13.7%，同时在摘要质量的标准指标上保持有竞争力的性能。我们的发现首次分析了摘要中语用特征的保留，凸显了现有摘要模型的不足——即便是最先进的模型也常常难以保留作者意图——并开发了更忠实于作者视角的新型摘要系统。
引用
@article{arxiv.2311.09741,
title = {P^3SUM: Preserving Author's Perspective in News Summarization with Diffusion Language Models},
author = {Yuhan Liu and Shangbin Feng and Xiaochuang Han and Vidhisha Balachandran and Chan Young Park and Sachin Kumar and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2311.09741},
year = {2024}
}