为何GAN在自然语言处理中属于过度设计
机器学习
2022-05-23 v1 机器学习
摘要
本工作就为何尽管有众多尝试，对抗式生成建模方法（如GAN）在某些生成任务（尤其是如自然语言生成之类的序列任务）中不如在其他任务（如计算机视觉）中流行，提供了一个新颖的理论视角。特别是在文本等序列数据上，最大似然方法的利用程度显著高于GAN。我们表明，虽然最大化似然看似与最小化可区分性有本质不同，这一区分在很大程度上是人为的，且仅对有限模型成立。我们认为，最小化KL散度（即最大化似然）是一种更高效的方法，可有效地最小化对抗模型所寻求优化的同一可区分性准则。归约表明，最小化可区分性可视为对某些模型族（包括n-gram模型和带softmax输出层的神经网络）简单地提升似然。为获得完整的多项式时间归约，我们考虑了一种新颖的下一词元可区分性模型。
引用
@article{arxiv.2205.09838,
title = {Why GANs are overkill for NLP},
author = {David Alvarez-Melis and Vikas Garg and Adam Tauman Kalai},
journal= {arXiv preprint arXiv:2205.09838},
year = {2022}
}