理解GAN中的熵正则化

生成对抗网络是一种流行的方法，通过将目标分布建模为已知分布的函数来从数据中学习分布。该函数通常称为生成器，被优化以最小化生成分布与目标分布之间所选的距离度量。为此目的一种常用度量是Wasserstein距离。然而，Wasserstein距离难以计算和优化，在实践中使用熵正则化技术来改善数值收敛。但正则化对学习解的影响仍未被很好理解。在本文中，我们研究在生成器为线性且目标分布为高维高斯这一简单基准设置下，几种流行的Wasserstein距离熵正则化如何影响解。我们表明熵正则化促进解稀疏化，而将Wasserstein距离替换为Sinkhorn散度可恢复未正则化解。两种正则化技术都消除了Wasserstein距离所遭受的维数灾难。我们表明最优生成器可以以精度 ε 从目标分布用 O(1/ε^2) 个样本学习到。因此我们得出结论，这些正则化技术可改善从经验数据为一大类分布所学得生成器的质量。