探究独立机制分析用于表示学习的鲁棒性
机器学习
2022-07-14 v1 人工智能
机器学习
摘要
表示学习的目标之一是恢复生成数据的原始潜变量编码，这一任务需要额外信息或归纳偏置。一种近期提出的方法称为独立机制分析（Independent Mechanism Analysis, IMA），其假定每个潜源应独立地影响观测混合，补充了标准的非线性独立成分分析，并受独立因果机制原理启发。尽管理论与实验均表明 IMA 有助于恢复真实潜变量，但该方法的性能此前仅在建模假设被精确满足时才被刻画。在此，我们检验该方法对底层假设违背的鲁棒性。我们发现，基于 IMA 的正则化在恢复真实源方面的优势可延伸至混合函数不同程度违背 IMA 原则的情形，而标准正则化器不具备同等优点。此外，我们表明未正则化的最大似然会恢复系统性偏离 IMA 原则的混合函数，并给出一个阐明基于 IMA 的正则化益处的论证。
引用
@article{arxiv.2207.06137,
title = {Probing the Robustness of Independent Mechanism Analysis for Representation Learning},
author = {Joanna Sliwa and Shubhangi Ghosh and Vincent Stimper and Luigi Gresele and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:2207.06137},
year = {2022}
}
备注
10 pages, 14 figures, UAI CRL 2022 final camera-ready version