Transformer 能否作为 RNN 在文本生成 GAN 中的直接替代?

Kevin Blin; Andrei Kucharavy

Transformer 能否作为 RNN 在文本生成 GAN 中的直接替代?

机器学习 2021-08-30 v1 计算与语言

作者: Kevin Blin , Andrei Kucharavy

摘要

本文中我们解决了在计算预算有限下的微调文本生成问题。为此,我们使用一个表现良好的文本生成对抗网络(GAN)架构——多样性促进 GAN(DPGAN),并尝试用基于自注意力的 Transformer 层直接替换 LSTM 层以利用其效率。所得的自主意力 DPGAN(SADPGAN)在生成文本的性能、质量、多样性及稳定性上进行了评估。计算实验表明,Transformer 架构无法作为直接替代的 LSTM 层,在预训练阶段表现不佳,并在 GAN 微调阶段发生完全的模态崩塌。我们的结果表明,Transformer 架构需经调整后才能用作文本生成 GAN 中 RNN 的替代。

关键词

文本生成 GAN Transformer LSTM RNN 替代模态崩塌多样性促进 GAN 微调文本生成

引用

@article{arxiv.2108.12275,
  title  = {Can the Transformer Be Used as a Drop-in Replacement for RNNs in Text-Generating GANs?},
  author = {Kevin Blin and Andrei Kucharavy},
  journal= {arXiv preprint arXiv:2108.12275},
  year   = {2021}
}

备注

accepted to RANLP 2021

Transformer 能否作为 RNN 在文本生成 GAN 中的直接替代?

摘要

关键词

引用

备注

相关论文