CLSEG：故事结尾生成的对立学习
计算与语言
2022-02-21 v1
摘要
故事结尾生成（SEG）是自然语言生成中一项具有挑战性的任务。近来，基于预训练语言模型（PLM）的方法取得了巨大进展，能够生成流畅且连贯的故事结尾。然而，基于 PLM 的方法的预训练目标无法建模故事上下文与结尾之间的一致性。本文的目标是采用对比学习来生成与故事上下文更一致的结尾，而 SEG 的对比学习存在两个主要挑战。一是与故事上下文不一致的错误结尾的负采样。第二个挑战是对比学习在 SEG 中的适配。为解决这两个问题，我们提出一种新颖的用于故事结尾生成的对比学习框架（CLSEG），其包含两步：多方面采样与故事特定对比学习。特别地，针对第一个问题，我们利用新颖的多方面采样机制，从顺序、因果与情感的一致性考虑获取错误结尾。为解决第二个问题，我们精心设计了适配于 SEG 的故事特定对比训练策略。实验表明 CLSEG 优于基线方法，并能生成具有更强一致性与合理性的故事结尾。
引用
@article{arxiv.2202.09049,
title = {CLSEG: Contrastive Learning of Story Ending Generation},
author = {Yuqiang Xie and Yue Hu and Luxi Xing and Yunpeng Li and Wei Peng and Ping Guo},
journal= {arXiv preprint arXiv:2202.09049},
year = {2022}
}
备注
Accepted by ICASSP 2022. Code and Data: https://github.com/IndexFziQ/CLSEG