基于生成对抗网络的无监督文本嵌入空间生成用于文本合成
计算与语言
2025-01-07 v4 机器学习
摘要
生成对抗网络（GAN）是一种数据合成模型，通过生成器与判别器的竞争来创建可信数据。尽管 GAN 在图像合成中的应用已被广泛研究，但其在自然语言生成方面存在固有局限。由于自然语言由离散 token 组成，生成器难以通过反向传播更新梯度；因此，大多数文本 GAN 研究基于奖励系统从随机 token 开始生成句子。因而，先前研究的生成器在对抗训练前以自回归方式预训练，导致数据记忆，即合成句子复现训练数据。本文中，我们使用类似于原始 GAN 的框架合成句子。更具体地，我们提出文本嵌入空间生成对抗网络（TESGAN），其生成连续的文本嵌入空间而非离散 token，以解决梯度反向传播问题。此外，TESGAN 进行无监督学习，不直接参考训练数据的文本，以克服数据记忆问题。采用这一新方法，TESGAN 能够合成新句子，展示了无监督学习用于文本合成的潜力。我们期望看到结合大语言模型（LLM）与将文本视为连续空间这一新视角的扩展研究。
引用
@article{arxiv.2306.17181,
title = {Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis},
author = {Jun-Min Lee and Tae-Bin Ha},
journal= {arXiv preprint arXiv:2306.17181},
year = {2025}
}
备注
NEJLT accpeted