通过互信息更好理解解耦表示
机器学习
2020-07-02 v3 机器学习
摘要
大多数现有的解耦表示学习工作仅建立在边缘独立性假设之上：解耦表示中的所有因子应在统计上独立。近期研究从理论表明，在建模过程中若无额外归纳偏置，该假设必要但绝非充分。本文我们认为解耦表示应由其与可观测数据的关系来刻画。具体而言，我们通过互信息概念表述此种关系：解耦表示中各因子与数据之间的互信息在给定其他因子取值的条件下应保持不变。结合被广泛接受的独立性假设，我们进一步将其与表示中因子在给定数据条件下的条件独立性相桥接。此外，我们注意到由于编码器中因子化近似后验 的人为选择，条件独立性已被强加于大多数 VAE 类模型与 InfoGAN 的潜变量上。此种编码器安排为解耦表示引入了关键的归纳偏置。为证明我们所提假设及相关归纳偏置的重要性，我们在实验中展示违背该假设会导致所学表示中因子间解耦程度下降。
引用
@article{arxiv.1911.10922,
title = {Towards Better Understanding of Disentangled Representations via Mutual Information},
author = {Xiaojiang Yang and Wendong Bi and Yitong Sun and Yu Cheng and Junchi Yan},
journal= {arXiv preprint arXiv:1911.10922},
year = {2020}
}