用于控制输出序列长度的位置编码
计算与语言
2019-04-17 v1
摘要
神经编码器-解码器模型在自然语言生成任务中已取得成效。然而，摘要抽取的实际应用必须考虑一项额外约束：生成的摘要不应超过期望长度。本文中，我们提出一种简单而有效的正弦位置编码（Vaswani et al., 2017）扩展，以使神经编码器-解码器模型保持长度约束。不同于以往学习表示各长度的嵌入的研究，所提方法即便目标长度未出现在训练数据中，也能生成任意长度的文本。实验结果表明，该方法不仅能控制生成长度，还能提升 ROUGE 分数。
引用
@article{arxiv.1904.07418,
title = {Positional Encoding to Control Output Sequence Length},
author = {Sho Takase and Naoaki Okazaki},
journal= {arXiv preprint arXiv:1904.07418},
year = {2019}
}
备注
Accepted by NAACL-HLT 2019