基于语言模型 Q-learning 的编辑式无监督摘要方法
计算与语言
2020-10-12 v1
摘要
无监督方法在抽象式文本摘要方面具有前景，因为其不需要平行语料库。然而，它们的性能仍远不能令人满意，因此对有前景解决方案的研究正在进行。在本文中，我们提出一种基于 Q-learning 与编辑式摘要的新方法。该方法结合两个关键模块构成编辑智能体与语言模型转换器（EALM）。该智能体预测编辑动作（例如删除、保留和替换），然后 LM 转换器基于动作信号确定性地生成摘要。利用 Q-learning 训练智能体以产生恰当的编辑动作。实验结果表明，即便在真正零配对数据（即无验证集）下，EALM 相较先前的编码器-解码器方法仍具有竞争力。将任务定义为 Q-learning 使我们不仅能开发一种有竞争力的方法，还能将强化学习的最新技木用于无监督摘要。我们还进行了定性分析，为未来无监督摘要器的研究提供见解。
引用
@article{arxiv.2010.04379,
title = {Q-learning with Language Model for Edit-based Unsupervised Summarization},
author = {Ryosuke Kohita and Akifumi Wachi and Yang Zhao and Ryuki Tachibana},
journal= {arXiv preprint arXiv:2010.04379},
year = {2020}
}
备注
14 pages, 4 figures