挑战解耦表示无监督学习中的常见假设
机器学习
2019-06-19 v4 人工智能
机器学习
摘要
解耦表示无监督学习背后的关键思想是，真实世界数据由少数可解释的变化因子生成，这些因子可通过无监督学习算法恢复。在本文中，我们冷静审视该领域近期进展，并挑战一些常见假设。我们首先从理论上证明，若无对模型与数据的归纳偏置，解耦表示的无监督学习从根本上来说是不可能的。随后，我们在七个不同数据集上开展可复现的大规模实验研究，训练了超过 12000 个模型，涵盖最主流的方法与评估指标。我们观察到，尽管不同方法成功强化了相应损失所“鼓励”的性质，但看似无法在无监督情况下识别出良好解耦的模型。此外，解耦程度的提高似乎并未降低下游任务学习的样本复杂度。我们的结果表明，未来关于解耦学习的工作应明确归纳偏置与（隐式）监督的作用，研究强制解耦所学表示的具体益处，并考虑覆盖多个数据集的可复现实验设置。
引用
@article{arxiv.1811.12359,
title = {Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations},
author = {Francesco Locatello and Stefan Bauer and Mario Lucic and Gunnar Rätsch and Sylvain Gelly and Bernhard Schölkopf and Olivier Bachem},
journal= {arXiv preprint arXiv:1811.12359},
year = {2019}
}