基于非自回归模型的文本编辑模仿学习课程
计算与语言
2022-03-18 v1
摘要
我们提出一种用于训练非自回归序列到序列编辑模型框架，其中原始输入序列被迭代编辑以产生输出。我们表明，为机器翻译设计的用于训练此类模型的模仿学习算法会引入训练与推理之间的不匹配，导致在编辑场景中训练不足与泛化能力差。我们通过两种互补策略解决该问题：1）一种 roll-in 策略，使模型暴露于推理时更可能遇到的中间训练序列；2）一种课程，先呈现易学的编辑操作，随着模型能力增强逐步增加训练样本难度。我们在两个具有挑战性的英文编辑任务上展示了这些策略的有效性：可控文本简化与抽取式摘要。我们的方法在两项任务上显著提升输出质量，并在简化任务上更好地控制输出复杂度。
引用
@article{arxiv.2203.09486,
title = {An Imitation Learning Curriculum for Text Editing with Non-Autoregressive Models},
author = {Sweta Agrawal and Marine Carpuat},
journal= {arXiv preprint arXiv:2203.09486},
year = {2022}
}
备注
To appear in ACL 2022