三分量矩阵分解：解耦全局、局部与噪声分量
机器学习
2025-08-25 v2 统计理论
统计理论
摘要
在这项工作中，我们研究了从含噪数据中提取共有和独有特征的问题。当我们有来自N个不同且相关的源、被稀疏且可能严重的噪声破坏的N个观测矩阵时，我们能否从这些含噪观测中恢复共有和独有分量？这是一项具有挑战性的任务，因为需要估计的参数数量大约是观测数量的三倍。尽管存在困难，我们提出了一种直观的交替极小化算法，称为三分量矩阵分解（TCMF），以精确恢复这三个分量。得益于两个显著特征，TCMF有别于现有文献的工作。首先，TCMF是一种有原则的方法，可在给定含噪观测的情况下可证明地分离这三个分量。其次，TCMF的大部分计算可以分布式进行。在技术层面，我们将该问题表述为受约束的非凸非光滑优化问题。尽管问题具有复杂的性质，我们通过求解相应的Karush-Kuhn-Tucker条件，提供了其解的泰勒级数刻画。利用这一刻画，我们能够证明交替极小化算法在每次迭代中都能取得显著进展，并以线性收敛率收敛到真实值。在视频分割和异常检测中的数值实验突显了TCMF优越的特征提取能力。
引用
@article{arxiv.2404.07955,
title = {Triple Component Matrix Factorization: Untangling Global, Local, and Noisy Components},
author = {Naichen Shi and Salar Fattahi and Raed Al Kontar},
journal= {arXiv preprint arXiv:2404.07955},
year = {2025}
}