基于机制稀疏正则化的解耦：非线性 ICA 的新原理
机器学习
2022-02-25 v3 机器学习
摘要
本工作引入了我们称之为“基于机制稀疏正则化的解耦”的新原理，其可应用于当感兴趣的潜因子稀疏地依赖于过去潜因子和/或观测辅助变量时。我们提出了一种表征学习方法，通过同时学习潜因子及关联它们的稀疏因果图模型来诱导解耦。我们发展了严格的辨识性理论，建立在近期非线性独立成分分析（ICA）结果之上，将该原理形式化，并表明若对潜机制施加稀疏正则化且数据生成过程满足某图连通性准则，则潜变量可恢复至置换意义下。作为我们框架的特例，我们展示了如何利用对潜因子的未知目标干预来实现其解耦，从而进一步建立 ICA 与因果性之间的联系。我们提出了一种基于 VAE 的方法，其中潜机制通过二元掩码学习与正则化，并通过在仿真中学习到解耦表征来验证我们的理论。
引用
@article{arxiv.2107.10098,
title = {Disentanglement via Mechanism Sparsity Regularization: A New Principle for Nonlinear ICA},
author = {Sébastien Lachapelle and Pau Rodríguez López and Yash Sharma and Katie Everett and Rémi Le Priol and Alexandre Lacoste and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2107.10098},
year = {2022}
}
备注
Appears in: 1st Conference on Causal Learning and Reasoning (CLeaR 2022). 57 pages