抽象摘要生成中的可微 n-gram 目标函数
计算与语言
2022-12-27 v6
摘要
ROUGE 是一种基于 n-gram 的序列到序列任务标准自动评价指标，而交叉熵损失是神经网络语言模型在 unigram 层级优化的基本目标。我们提出可微 n-gram 目标函数，试图缓解训练准则与评估准则之间的不一致。该目标最大化匹配子序列的概率权重，我们工作的新颖之处在于目标对匹配子序列赋予相等权重，且不依据参考序列中 n-gram 的真实计数对匹配子序列数量进行上限截断。我们将交叉熵损失与所提目标联合优化，在抽象摘要数据集 CNN/DM 和 XSum 上取得了显著的 ROUGE 分数提升，优于其他替代的 n-gram 目标。
引用
@article{arxiv.2202.04003,
title = {Differentiable N-gram Objective on Abstractive Summarization},
author = {Yunqi Zhu and Xuebing Yang and Yuanyuan Wu and Mingjin Zhu and Wensheng Zhang},
journal= {arXiv preprint arXiv:2202.04003},
year = {2022}
}