OptAGAN：基于熵的文本 VAE-GAN 微调

通过大型预训练模型进行迁移学习已经改变了自然语言处理（NLP）当前应用的格局。最近，结合了 BERT 和 GPT-2 两个预训练模型的变分自编码器（VAE）Optimus 被发布，并且已证明其通过与生成对抗网络（GAN）结合能够生成新颖且极具人类文本特征的文本。Optimus 与 GAN 的结合避免了 GAN 在文本离散域中应用的难题，并消除了标准最大似然方法的暴露偏差。我们将 GAN 在隐空间的训练与 Optimus 解码器在单字生成上的微调相结合。该方法使我们能够同时对句子的高层特征和逐词生成的底层特征进行建模。我们利用 GPT-2 的结构，并通过添加基于熵的内在动机奖励来平衡质量与多样性，使用强化学习（RL）进行微调。我们对 VAE-GAN 模型的结果进行了基准测试，并在三个广泛使用的文本生成数据集上展示了我们的 RL 微调带来的改进，其结果大幅超越了当前生成文本质量的最高水平。