面向神经标题编辑的重要性感知学习
计算与语言
2019-12-04 v1
摘要
许多社交媒体新闻写手未受过专业训练。因此，社交媒体平台不得不聘请专业编辑来调整业余标题以吸引更多读者。我们提议通过神经网络模型自动化这一标题编辑过程，为这些社交媒体新闻写手提供更即时的写作支持。为训练这样一个神经标题编辑模型，我们收集了一个包含带有原始标题和经专业编辑标题的文章的数据集。然而，收集大量经专业编辑的标题是昂贵的。为解决这一低资源问题，我们设计了一个利用大规模预训练语言模型的编码器-解码器模型。我们进一步通过引入标题生成任务作为标题编辑任务之前的中间任务来提升预训练模型的质量。此外，我们提出自重要性感知（SIA）损失，通过降低易分类词元和句子的重要性权重来解决数据集中不同级别的编辑问题。在预训练、自适应和 SIA 的帮助下，模型学会以专业编辑的风格生成标题。实验结果表明，与之前的方法相比，我们的方法显著提升了标题编辑的质量。
引用
@article{arxiv.1912.01114,
title = {Importance-Aware Learning for Neural Headline Editing},
author = {Qingyang Wu and Lei Li and Hao Zhou and Ying Zeng and Zhou Yu},
journal= {arXiv preprint arXiv:1912.01114},
year = {2019}
}
备注
AAAI 2020