利用少量标签解耦变化因子
机器学习
2020-02-17 v2 人工智能
机器学习
摘要
学习解耦表示被认为是表示学习中的基石问题。最近,Locatello 等人(2019)证明了没有归纳偏置的无监督解耦学习在理论上是不可能的,且现有的归纳偏置和无监督方法无法一致地学习到解耦表示。然而,在许多实际场景中,人们可能获得有限的监督信息,例如通过对少数训练样本中的(部分)变化因子进行人工标注。本文研究了此类监督对最先进的解耦方法的影响,并在明确定义且可复现的实验条件下进行了大规模研究,训练了超过 52000 个模型。我们观察到,少量带标签的样本(占数据集的 0.01--0.5%),即使标签可能不精确且不完整,也足以在最先进的无监督模型上进行模型选择。此外,我们研究了将监督融入训练过程的益处。总体而言,我们通过实验验证了在少量且不精确的监督下,可以可靠地学习到解耦表示。
引用
@article{arxiv.1905.01258,
title = {Disentangling Factors of Variation Using Few Labels},
author = {Francesco Locatello and Michael Tschannen and Stefan Bauer and Gunnar Rätsch and Bernhard Schölkopf and Olivier Bachem},
journal= {arXiv preprint arXiv:1905.01258},
year = {2020}
}