释放 GAN 在非自回归文本生成中的潜力
计算与语言
2024-10-03 v3
摘要
生成对抗网络（GANs）已在文本生成中被研究以解决曝光偏差问题。尽管取得了显著进展，它们仍采用自回归结构，因此在训练和推理阶段都面临高延迟。尽管 GAN 有望通过采用非自回归（NAR）结构来支持高效生成，但其在 NAR 模型中的探索极为有限。在本工作中，我们开展了基于 NAR 结构构建语言 GAN 的开创性研究。我们识别出制约基于 GAN 的 NAR 模型性能的两个问题。首先，现有的融入潜变量的方法提供的表示高度相似，无法刻画句子中不同词的多样性。我们通过提出位置感知自调制（Position-Aware Self-Modulation）来解决该问题，提供更丰富且有效的表示。其次，Transformer 中的注意力机制在 GAN 的不稳定训练中无法准确建立词依赖，我们采用依赖前馈网络（Dependency Feed Forward Network）来增强模型在依赖建模上的能力。借助这两大机制，我们提出了一种基于 GAN 的 NAR 模型，即对抗非自回归 Transformer（Adversarial Non-autoregressive Transformer, ANT）。实验结果表明，ANT 可在单次前向传播中取得与主流模型相当的性能，并在潜空间插值和半监督学习等多种应用中具有巨大潜力。
引用
@article{arxiv.2305.03977,
title = {Unlocking the Power of GANs in Non-Autoregressive Text Generation},
author = {Da Ren and Yi Cai and Qing Li},
journal= {arXiv preprint arXiv:2305.03977},
year = {2024}
}