解耦表示学习的理论与评估度量
机器学习
2021-03-22 v3 机器学习
摘要
我们通过 (a) 定义解耦表示的精确语义，以及 (b) 建立稳健的评估度量，对解耦学习做出两项理论贡献。首先，我们沿信息性、可分离性和可解释性三个维度刻画监督与无监督方法中使用的“解耦表示”这一概念——它们可利用信息论构造显式表达与量化。这有助于解释若干知名解耦学习模型的行为。我们随后提出度量信息性、可分离性和可解释性的稳健指标。通过一套综合实验，我们表明我们的度量能正确刻画不同方法学到的表示，并与定性（视觉）结果一致。因此，这些度量使得解耦学习方法能在公平基础上比较。我们还从经验上揭示了基于 VAE 的方法的新有趣性质，并用我们的表述加以解释。这些发现令人鼓舞，有望促进更受理论驱动的解耦表示学习模型的设计。
引用
@article{arxiv.1908.09961,
title = {Theory and Evaluation Metrics for Learning Disentangled Representations},
author = {Kien Do and Truyen Tran},
journal= {arXiv preprint arXiv:1908.09961},
year = {2021}
}