通过对比学习缓解抽象文本摘要中的曝光偏差
计算与语言
2021-08-27 v1
摘要
编码器-解码器模型在抽象文本摘要中取得了显著成功，该任务旨在将一个或多个文档压缩为更短的版本，同时不丢失基本内容。遗憾的是，这些模型大多在训练和推理之间存在差异，即曝光偏差问题。在训练阶段，通过教师强制，这些模型被优化以最大化给定金标准摘要标记作为解码器输入时金标准摘要的似然，而在推理时，给定的标记被生成的标记所取代。因此，极有可能生成低质量的摘要。为了解决这个问题，我们提出利用对比学习来降低这些低质量摘要的似然，同时增加金标准摘要的似然。由于我们的解决方案扩展了模型在训练期间感知的状态，我们预期曝光偏差问题可以得到缓解。我们通过实验证明，我们的方法有效提升了最先进模型在不同数据集上的性能。
引用
@article{arxiv.2108.11846,
title = {Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization},
author = {Shichao Sun and Wenjie Li},
journal= {arXiv preprint arXiv:2108.11846},
year = {2021}
}