面向马尔可夫数据的在线矩阵分解及其在网络字典学习中的应用
机器学习
2020-11-10 v6 数据结构与算法
最优化与控制
概率论
机器学习
摘要
在线矩阵分解（OMF）是字典学习问题的基础工具，它以少量提取的特征对复杂数据集给出近似表示。文献中大多数 OMF 算法的收敛性保证都假设数据矩阵之间相互独立，而依赖数据流的情况在很大程度上仍未被探索。在本文中，我们证明了 \citep{mairal2010online} 中著名的面向 i.i.d. 数据流的 OMF 算法的非凸推广，即使当数据矩阵是满足温和混合条件的某个底层马尔可夫链的函数时，也几乎必然收敛到期望损失函数临界点的集合。这使得能够从依赖数据流中更高效地提取特征，因为无需对数据序列进行子采样以近似满足独立性假设。作为最主要的应用，通过结合在线非负矩阵分解和一种近期用于从网络中采样模体的 MCMC 算法，我们提出了一种新颖的网络字典学习框架，它以在线方式从给定网络中提取编码网络主要特征的“网络字典块”。我们展示了该技术及其在真实世界网络数据的网络去噪问题上的应用。
引用
@article{arxiv.1911.01931,
title = {Online matrix factorization for Markovian data and applications to Network Dictionary Learning},
author = {Hanbaek Lyu and Deanna Needell and Laura Balzano},
journal= {arXiv preprint arXiv:1911.01931},
year = {2020}
}
备注
39 pages, 13 figures