面向空间数据的可辨识特征学习：基于非线性独立成分分析
机器学习
2023-11-29 v1 机器学习
摘要
近年来，非线性独立成分分析（ICA）已成为深度表示学习与解耦中许多启发式模型的流行替代方案。非线性 ICA 的一个优势是已发展出精细的可辨识性理论；特别地，已证明在足够强的潜变量依赖下可恢复原始分量。尽管有此一般理论，实用的非线性 ICA 算法迄今主要局限于具有一维潜依赖的数据，尤其是时间序列数据。本文引入一种新的非线性 ICA 框架，采用 -过程（TP）潜分量，其天然适用于具有更高维依赖结构的数据，如空间与时空数据。具体地，我们开发了新的学习与推断算法，将变分推断方法扩展以处理深度神经网络混合函数与 TP 先验的组合，并采用诱导点方法以提升计算效率。在理论方面，我们证明此类 TP 独立分量在非常一般的条件下是可辨识的。进一步，建立高斯过程（GP）非线性 ICA 作为 TP 非线性 ICA 模型的极限，并证明该 GP 极限下潜分量的可辨识性更为受限：即这些分量可辨识当且仅当它们具有显著不同的协方差核。我们的算法与可辨识性定理在模拟空间数据及真实世界时空数据上进行了探究。
引用
@article{arxiv.2311.16849,
title = {Identifiable Feature Learning for Spatial Data with Nonlinear ICA},
author = {Hermanni Hälvä and Jonathan So and Richard E. Turner and Aapo Hyvärinen},
journal= {arXiv preprint arXiv:2311.16849},
year = {2023}
}
备注
Work under review