构建基于群的无人监督表示解耦框架
机器学习
2022-03-16 v2 计算机视觉与模式识别
摘要
解耦表示学习是深度学习的主要目标之一，也是实现可解释与可泛化模型的关键步骤。基于 VAE 的无人监督方法是一组实现无人监督解耦的流行方法，但其仍缺乏良好定义的理论保证。基于群论的表示解耦定义利用群的形式体系将数据的变换与表示在数学上联系起来。本文在基于群的定义基础上，受 n 次二面群启发，首先提出了一个实现无人监督表示解耦的理论框架。随后，我们基于现有基于 VAE 的方法提出了一个模型，以解决该框架的无人监督学习问题。在该理论框架中，我们分别证明了关于模型、群结构和数据的三个充分条件，以期依据基于群的定义以无人监督方式实现解耦表示。在前两个条件满足且为第三个条件推导出必要条件的情况下，我们从基于群的定义视角为现有基于 VAE 的模型提供了额外的约束。在实验上，我们在五个数据集上训练了涵盖最突出基于 VAE 方法的 1800 个模型，以验证我们理论框架的有效性。相较于原始基于 VAE 的方法，这些 Groupified VAE 始终以更小的方差取得更好的平均性能。
引用
@article{arxiv.2102.10303,
title = {Towards Building A Group-based Unsupervised Representation Disentanglement Framework},
author = {Tao Yang and Xuanchi Ren and Yuwang Wang and Wenjun Zeng and Nanning Zheng},
journal= {arXiv preprint arXiv:2102.10303},
year = {2022}
}
备注
Accepted by ICLR 2022