独立机制分析与流形假设
机器学习
2023-12-22 v1 机器学习
摘要
独立机制分析（IMA）旨在通过假设混合函数的雅可比矩阵具有正交列来解决非线性独立成分分析（ICA）中的不可辨识性问题。与 ICA 中的典型情况一样，先前的工作主要集中在潜分量与观测混合数量相等的情况。在此，我们将 IMA 扩展到混合数量多于潜空间维度的设置，且这些混合位于嵌入在更高维空间中的流形上——这与表示学习中的流形假设相一致。对于这一设定，我们证明了 IMA 仍然能够规避若干不可辨识性问题，这表明当流形假设成立时，它对于更高维的观测也是一个有益的原则。此外，我们证明了当潜分量影响观测的方向被独立随机选择时，IMA 原则以高概率（随观测混合数量的增加而增加）近似满足。这为 IMA 提供了一个新的严格统计解释。
引用
@article{arxiv.2312.13438,
title = {Independent Mechanism Analysis and the Manifold Hypothesis},
author = {Shubhangi Ghosh and Luigi Gresele and Julius von Kügelgen and Michel Besserve and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:2312.13438},
year = {2023}
}
备注
6 pages, Accepted at Neurips Causal Representation Learning 2023