参数化对抗散度是用于生成建模的良好损失函数
机器学习
2021-10-22 v4 机器学习
摘要
参数化对抗散度是用于训练生成对抗网络（GANs）的损失函数的推广，通常被描述为其非参数化对应物（如 Jensen-Shannon 散度）的近似，后者可在所谓的最优判别器假设下推导得出。在这篇立场论文中，我们论证了尽管是“非最优”的，参数化散度具有与其非参数化对应物不同的独特性质，这可能使其更适合于学习高维分布。一个关键性质是，参数化散度仅对分布的某些方面/矩敏感，这取决于判别器的架构及其训练所用的损失函数。相比之下，诸如 Kullback-Leibler 散度等非参数化散度对判别器忽略的矩敏感，但它们不一定与样本质量相关（Theis et al., 2016）。类似地，我们表明互信息可能导致不直观的解释，并探索了基于参数化散度的更直观的替代方案。我们得出结论，参数化散度是一个灵活的框架，可用于定义与特定建模任务相关的统计量。
引用
@article{arxiv.1708.02511,
title = {Parametric Adversarial Divergences are Good Losses for Generative Modeling},
author = {Gabriel Huang and Hugo Berard and Ahmed Touati and Gauthier Gidel and Pascal Vincent and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:1708.02511},
year = {2021}
}