结合深度 Transformer 与 GAN 的半监督文本生成框架

Shengquan Wang

结合深度 Transformer 与 GAN 的半监督文本生成框架

计算与语言 2025-02-11 v1 人工智能

作者: Shengquan Wang

摘要

本文介绍了一个将深度生成预训练 Transformer 语言模型与生成对抗网络（GAN）相连接的框架用于半监督文本生成。也就是说，提出的模型首先在大型且多样化的文本语料库上进行无监督预训练，包含 24 层。随后引入一个用于合成文本生成的简单 GAN 架构，并应用 Gumbel-Softmax 来处理 token 的离散性。论文还展示了一种半监督方法，其中将真实数据与 GAN 生成的样本相augmented，然后用于在合并后的数据集上进一步微调 Transformer 模型。还包括详细的理论推导，概述 min-max 目标函数的证明，并对 Gumbel-Softmax 参数重参数技巧进行了广泛讨论。

关键词

半监督学习 Transformer GAN Gumbel-Softmax 文本生成语言模型

引用

@article{arxiv.2502.05937,
  title  = {A Semi-Supervised Text Generation Framework Combining a Deep Transformer and a GAN},
  author = {Shengquan Wang},
  journal= {arXiv preprint arXiv:2502.05937},
  year   = {2025}
}

备注

7 pages

结合深度 Transformer 与 GAN 的半监督文本生成框架

摘要

关键词

引用

备注

相关论文