中文

基于机制稀疏性的非参数部分解耦:稀疏动作、干预与稀疏时序依赖

机器学习 2024-01-11 v1 机器学习

摘要

本文引入一种新颖的解耦原理,我们称之为机制稀疏正则化,适用于感兴趣的潜在因子稀疏地依赖于观测到的辅助变量和/或过去的潜在因子的情形。我们提出了一种表示学习方法,通过同时学习潜在因子和解释它们的稀疏因果图模型来诱导解耦。我们发展了一套非参数可识别性理论,将该原理形式化,并证明通过正则化所学因果图使其稀疏,可以恢复潜在因子。更准确地说,我们证明了在一种我们称之为“一致性”的新颖等价关系下的可识别性,该关系允许某些潜在因子保持纠缠(因此称为部分解耦)。为描述这种纠缠的结构,我们引入了纠缠图和保图函数的概念。我们进一步提供了一个图形化准则,该准则保证了完全解耦,即达到置换和逐元素变换意义上的可识别性。我们通过几个详尽的例子展示了机制稀疏原理的适用范围及其所依赖的假设。例如,该框架展示了如何利用对潜在因子目标未知的多节点干预来解耦它们。我们进一步将我们的非参数结果与当前流行的指数族假设联系起来。最后,我们提出了一种基于变分自编码器和稀疏约束的估计过程,并在各种合成数据集上进行了演示。本工作旨在成为 Lachapelle 等人 (2022) 的一个显著扩展版本。

关键词

引用

@article{arxiv.2401.04890,
  title  = {Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies},
  author = {Sébastien Lachapelle and Pau Rodríguez López and Yash Sharma and Katie Everett and Rémi Le Priol and Alexandre Lacoste and Simon Lacoste-Julien},
  journal= {arXiv preprint arXiv:2401.04890},
  year   = {2024}
}

备注

88 pages