每次稳健解耦少数因子
机器学习
2020-10-27 v1 计算机视觉与模式识别
机器学习
摘要
解耦在无监督学习前沿，因为数据的解耦表示能改善泛化性、可解释性和下游任务性能。当前的无监督方法对真实世界数据集仍不适用，因为它们性能高度不稳定，且无法达到（半）监督方法的解耦水平。我们引入基于种群的训练（PBT）以改善变分自编码器（VAEs）训练的一致性，并在监督设定（PBT-VAE）中证明该方法的有效性。然后我们使用无监督解耦排序（UDR）作为无监督启发式来对我们的PBT-VAE训练中的模型打分，并展示以此方式训练的模型如何倾向于一致地仅解耦生成因子的一个子集。基于该观察我们引入递归rPU-VAE方法。我们将模型训练至收敛，从数据集中移除已学因子并重复。这样做，我们可以用已学因子标注数据集的子集，并依次使用这些标注训练一个完全解耦整个数据集的模型。通过该方法，我们在多个数据集和指标上展示了最先进无监督解耦性能和鲁棒性的显著提升。
引用
@article{arxiv.2010.13527,
title = {Robust Disentanglement of a Few Factors at a Time},
author = {Benjamin Estermann and Markus Marks and Mehmet Fatih Yanik},
journal= {arXiv preprint arXiv:2010.13527},
year = {2020}
}
备注
The first two authors contributed equally. Code is available at this url https://github.com/besterma/robust_disentanglement