Inference-InfoGAN：基于嵌入正交基展开的推断独立性方法
机器学习
2021-10-05 v1 计算机视觉与模式识别
摘要
解耦学习旨在构建独立且可解释的隐变量，其中生成模型是一种流行策略。InfoGAN 是一种经典方法，通过最大化互信息（MI）来获得映射到目标空间的可解释隐变量。然而，它并未强调独立特性。为显式推断具有相互独立性的隐变量，我们提出一种新颖的基于 GAN 的解耦框架，以无监督方式将正交基展开（OBE）嵌入 InfoGAN 网络（Inference-InfoGAN）。在 OBE 模块下，可自适应地找到一组正交基来展开具有独立性性质的任意数据。为确保目标级可解释表示，我们在 MI 最大化的基础上，对展开系数与隐变量之间添加一致性约束。此外，我们设计了一种关于一致性约束与正交要求更新的交替优化步骤，从而使 Inference-InfoGAN 的训练更加便捷。最后，实验验证了我们提出的 OBE 模块获得了自适应正交基，其比离散余弦变换（DCT）的固定基表达能更好地表达独立特性。为刻画在下游任务中的性能，我们在不同数据集上与最先进的基于 GAN 乃至基于 VAE 的方法进行比较。我们的 Inference-InfoGAN 在 FactorVAE、分离属性可预测性（SAP）、互信息间隙（MIG）和变异可预测性（VP）指标上取得了更高的解耦分数，且无需模型微调。所有实验结果均表明，得益于 OBE 模块，我们的方法具有相互独立的推断能力，并通过结合交替优化在其与隐变量的目标级可解释性之间提供了良好权衡。
引用
@article{arxiv.2110.00788,
title = {Inference-InfoGAN: Inference Independence via Embedding Orthogonal Basis Expansion},
author = {Hongxiang Jiang and Jihao Yin and Xiaoyan Luo and Fuxiang Wang},
journal= {arXiv preprint arXiv:2110.00788},
year = {2021}
}
备注
10 pages, 5 figures