相信评判者：无生成器且多用途的 WGAN 及其初始收敛保证
机器学习
2021-12-01 v1 计算机视觉与模式识别
神经与进化计算
最优化与控制
摘要
受最优传输理论思想的启发，我们提出“相信评判者”（TTC），一种用于生成建模的新算法。该算法从 Wasserstein GAN 中剔除了可训练生成器；转而通过对一系列训练好的评判者网络使用梯度下降迭代地修改源数据。其部分动机源于我们观测到的评判者梯度所提供的最优传输方向，与由可训练生成器参数化时数据点实际移动方向之间的错位。先前工作从不同视角得出类似想法，但我们在最优传输理论上的基础论证了自适应步长的选择，其与固定步长相比极大加速了收敛。利用该步长规则，我们证明了在具有密度的源分布情形下的初始几何收敛速率。这些收敛速率仅在不可忽略的生成数据集合与真实数据基本不可区分时不再适用。解决错位问题提升了性能，我们在实验中证明：给定固定训练轮数，TTC 比可比较的 WGAN 生成更高质量图像，尽管内存需求有所增加。此外，TTC 提供了变换密度的迭代公式，这是传统 WGAN 所不具备的。最后，TTC 可应用于将任意源分布映射到任意目标；我们通过实验证明 TTC 在图像生成、翻译与去噪中无需专用算法即可获得具竞争力的性能。
引用
@article{arxiv.2111.15099,
title = {Trust the Critics: Generatorless and Multipurpose WGANs with Initial Convergence Guarantees},
author = {Tristan Milne and Étienne Bilocq and Adrian Nachman},
journal= {arXiv preprint arXiv:2111.15099},
year = {2021}
}
备注
20 pages, 8 figures