面向马尔可夫数据的在线非负 CP 字典学习
机器学习
2022-04-05 v4 机器学习
最优化与控制
摘要
在线张量分解（OTF）是从流式多模态数据中学习低维可解释特征的基础工具。尽管近期对 OTF 的算法与理论方面已有诸多研究，但即使在独立同分布情形下，仍缺乏对目标函数驻点的一般收敛保证，且不依赖任何不相干性或稀疏性假设。本工作中，我们引入一种新颖算法，在一般约束下（包括诱导所学 CP 基可解释性的非负约束）从给定的张量值数据流中学习 CANDECOMP/PARAFAC（CP）基。我们证明，在数据张量序列由底层马尔可夫链生成的假设下，算法几乎必然收敛至目标函数的驻点集。我们的设定涵盖经典独立同分布情形以及广泛应用场景，包括由独立或 MCMC 采样生成的数据流。我们的结果弥补了 OTF 与在线矩阵分解在 CP 分解全局收敛分析上的差距。实验上，我们表明在合成与真实数据上，本算法比标准非负张量分解算法收敛快得多。此外，我们在图像、视频与时间序列数据的多样示例上展示了算法效用，说明如何通过多种方式利用张量结构从同一张量数据中学得性质不同的 CP 字典。
引用
@article{arxiv.2009.07612,
title = {Online nonnegative CP-dictionary learning for Markovian data},
author = {Hanbaek Lyu and Christopher Strohmeier and Deanna Needell},
journal= {arXiv preprint arXiv:2009.07612},
year = {2022}
}
备注
41 pages, 5 figures