用于标题生成的自注意力模型
计算与语言
2019-01-24 v1 人工智能
摘要
标题生成是一类特殊的文本摘要任务。尽管该任务可用的训练数据几乎无限，它仍然具有挑战性，因为学习为新闻文章生成标题意味着模型需具备对自然语言的强推理能力。为克服此问题，我们应用了近期的 Universal Transformer 架构并配合字节对编码技术，在 New York Times Annotated 语料库上以 ROUGE-L F1-score 24.84 和 ROUGE-2 F1-score 13.48 取得了新的 SOTA 结果。我们还提出了新的 RIA 语料库，并在其上达到 ROUGE-L F1-score 36.81 和 ROUGE-2 F1-score 22.15。
引用
@article{arxiv.1901.07786,
title = {Self-Attentive Model for Headline Generation},
author = {Daniil Gavrilov and Pavel Kalaidin and Valentin Malykh},
journal= {arXiv preprint arXiv:1901.07786},
year = {2019}
}
备注
accepted for ECIR 2019