CatVRNN:通过多任务学习生成类别文本
计算与语言
2022-03-25 v3
摘要
控制模型生成不同类别的文本是一项颇具挑战且日益受到关注的课题。近来,生成对抗网络(GANs)在类别文本生成上展现出有前景的结果。然而,GANs 生成的文本通常存在模式坍塌与训练不稳定问题。为避免上述问题,受多任务学习启发,本文提出一种名为类别感知变分循环神经网络(CatVRNN)的新模型。该模型同时训练生成与分类任务以生成不同类别的文本。当分类任务恰当时,多任务学习的使用可提升生成文本的质量。此外,提出一种函数用于初始化 CatVRNN 的隐藏状态,以迫使模型生成特定类别的文本。在三个数据集上的实验结果表明,该模型在生成文本的多样性方面优于基于 GAN 的最先进文本生成方法。
引用
@article{arxiv.2107.05219,
title = {CatVRNN: Generating Category Texts via Multi-task Learning},
author = {Pengsen Cheng and Jinqiao Dai and Jiayong Liu},
journal= {arXiv preprint arXiv:2107.05219},
year = {2022}
}