基于 MIM 的 GAN：在生成对抗网络中放大小概率事件重要性的信息度量
机器学习
2021-01-08 v2 信息论
math.IT
机器学习
摘要
在生成对抗网络（GANs）中，用于区分生成数据与真实数据的信息度量是生成效率的关键所在，这在基于 GAN 的应用中起着重要作用，尤其是在异常检测方面。对于原始 GAN，其基于 KL 散度的隐藏信息度量在稀有事件生成以及对抗网络的训练性能方面存在缺陷。因此，研究 GAN 中使用的度量以改进生成能力并在训练过程中带来增益具有重要意义。本文中，我们采用源自信息度量（即 MIM）的指数形式来替代原始 GAN 的对数形式。该方法称为基于 MIM 的 GAN，在网络训练和稀有事件生成上具有更好的性能。具体而言，我们首先讨论了该方法训练过程的特点。此外，我们还从理论上分析了其在生成稀有事件上的优势。另外，我们在 MNIST 和 ODDS 数据集上进行了仿真，结果表明与一些经典 GAN 相比，基于 MIM 的 GAN 在异常检测上达到了最先进的性能。
引用
@article{arxiv.2003.11285,
title = {MIM-Based GAN: Information Metric to Amplify Small Probability Events Importance in Generative Adversarial Networks},
author = {Rui She and Pingyi Fan},
journal= {arXiv preprint arXiv:2003.11285},
year = {2021}
}