用于观点摘要的凸聚合
计算与语言
2021-11-18 v3
摘要
文本自编码器的最新进展显著改善了潜空间的质量，使模型能够从聚合的潜向量生成符合语法且一致的文本。作为该性质的成功应用，无监督观点摘要模型通过解码输入聚合后的潜向量来生成摘要。更具体地，它们通过简单平均执行聚合。然而，关于向量聚合步骤如何影响生成质量知之甚少。在本研究中，我们通过考察潜空间与生成的摘要重新审视常用的简单平均方法。我们发现文本自编码器倾向于从简单平均的潜向量生成过度通用的摘要，原因在于聚合潜向量中意外的 范数收缩，我们称之为摘要向量退化。为克服该问题，我们开发了框架 Coop，其利用输入-输出词重叠为潜向量聚合搜索输入组合。实验结果表明 Coop 成功缓解了摘要向量退化问题，并在两个观点摘要基准上确立了新的 SOTA 性能。代码见 \url{https://github.com/megagonlabs/coop}。
引用
@article{arxiv.2104.01371,
title = {Convex Aggregation for Opinion Summarization},
author = {Hayate Iso and Xiaolan Wang and Yoshihiko Suhara and Stefanos Angelidis and Wang-Chiew Tan},
journal= {arXiv preprint arXiv:2104.01371},
year = {2021}
}
备注
Findings of EMNLP 2021