Meta-CoTGAN：一种用于改进对抗性文本生成的元协同训练范式
计算与语言
2020-03-26 v1 机器学习
机器学习
摘要
训练能够生成具有充分多样性的高质量文本的 generative 模型是自然语言生成（NLG）领域的一个重要开放问题。近年来，生成对抗模型已被广泛应用于文本生成任务，其中经过对抗训练的 generator 缓解了传统最大似然方法所面临的 exposure bias，并带来了令人满意的生成质量。然而，由于对抗训练臭名昭著的 mode collapse 缺陷，经过对抗训练的 generator 面临着质量-多样性权衡，即 generator 模型往往为了提升生成质量而严重牺牲生成多样性。本文提出一种新方法，旨在通过高效减缓对抗训练的 mode collapse 来改进对抗性文本生成的性能。为此，我们引入一种协同训练范式，其中语言模型与 generator 协同训练，并利用该语言模型高效塑造 generator 的数据分布以对抗 mode collapse。此外，我们并未以原则性方式将协同更新引入 generator，而是构建了一种元学习机制，其中对 generator 的协同更新作为一个高层 meta task，其直觉在于确保经过对抗更新后的 generator 参数能够保持对 mode collapse 的抵抗能力。在实验中，我们证明所提方法能够高效减缓对抗性文本 generator 的 mode collapse 速度。总体而言，在所受测试的领域中，我们的方法在生成质量和多样性两方面均以显著优势超越基线方法。
引用
@article{arxiv.2003.11530,
title = {Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation},
author = {Haiyan Yin and Dingcheng Li and Xu Li and Ping Li},
journal= {arXiv preprint arXiv:2003.11530},
year = {2020}
}