通过极小极大化率缩减实现至LDR的闭环数据转录

本文提出了一种用于学习真实世界数据集结构化生成模型的新计算框架。具体而言，我们提出学习一个多类多维数据分布与特征空间中由多个独立多维线性子空间构成的线性判别表示（LDR）之间的闭环转录。特别地，我们认为所寻求的最优编码与解码映射可表述为编码器与解码器之间二人极小极大博弈的平衡点。该博弈的一个自然效用函数是所谓的率缩减（rate reduction），一种用于特征空间中子空间类高斯混合之间距离的简单信息论度量。我们的公式从控制系统的闭环误差反馈中汲取灵感，避免了在数据空间或特征空间中昂贵地评估并最小化任意分布之间的近似距离。在很大程度上，这一新公式统一了Auto-Encoding与GAN的概念与优势，并自然地将它们扩展到学习多类多维真实世界数据既具判别性又具生成性表示的情形。我们在许多基准图像数据集上的大量实验证明了这一新闭环公式的巨大潜力：在公平比较下，所学解码器的视觉质量与编码器的分类性能具有竞争力，且常优于基于GAN、VAE或二者结合的现有方法。与现有生成模型不同，所学习的多类特征是结构化的：不同类别被显式映射到特征空间中相应的独立主子空间。源代码见 https://github.com/Delay-Xili/LDR。