TextGAIL：面向文本生成的生成式对抗模仿学习
计算与语言
2021-04-28 v4 机器学习
摘要
用于文本生成的生成式对抗网络（GANs）近来受到诸多批评，因为其表现不如基于最大似然估计（MLE）的对应方法。我们怀疑以往文本 GANs 性能不佳的原因在于其判别器缺乏可靠的引导信号。为解决该问题，我们提出了一种面向文本生成的生成式对抗模仿学习框架，利用大型预训练语言模型提供更可靠的奖励引导。我们的方法采用对比判别器与近端策略优化（PPO）来稳定并提升文本生成性能。在评估方面，我们在一组多样的无条件与有条件文本生成任务上进行了实验。实验结果表明，TextGAIL 在质量与多样性方面均优于 MLE 基线。我们还通过一个额外任务验证了直觉：TextGAIL 的判别器展现出提供合理奖励的能力。
引用
@article{arxiv.2004.13796,
title = {TextGAIL: Generative Adversarial Imitation Learning for Text Generation},
author = {Qingyang Wu and Lei Li and Zhou Yu},
journal= {arXiv preprint arXiv:2004.13796},
year = {2021}
}
备注
AAAI 2021