TextKD-GAN：利用知识蒸馏与生成对抗网络的文本生成
计算与语言
2019-05-07 v1
摘要
文本生成在许多 NLP 应用（如机器翻译、语言建模和文本摘要）中尤为重要。生成对抗网络（GANs）在计算机视觉的高质量图像生成中取得了显著成功，且近来 GANs 也获得了 NLP 社区的诸多关注。然而，由于文本的离散性质，在 NLP 中取得类似成功更具挑战性。在本工作中，我们引入一种利用知识蒸馏来有效开发 GAN 设置用于文本生成的方法。我们展示了如何使用自编码器（AEs）提供句子的连续表示，这是一种为多个词分配非零概率的平滑表示。我们蒸馏该表示以训练生成器合成类似的平滑表示。我们使用不同数据集进行了若干实验来验证我们的想法，并表明与传统的基于 GAN 且无预训练的文本生成方法相比，我们提出的方法在 BLEU 分数和 Jensen-Shannon 距离（JSD）度量方面取得了更好性能。
引用
@article{arxiv.1905.01976,
title = {TextKD-GAN: Text Generation using KnowledgeDistillation and Generative Adversarial Networks},
author = {Md. Akmal Haidar and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:1905.01976},
year = {2019}
}
备注
arXiv admin note: text overlap with arXiv:1904.07293