中文

基于交替马氏距离最小化的稳定精确 CP 分解

机器学习 2022-05-12 v2 数值分析 数值分析

摘要

CP 分解(CPD)在化学计量学、信号处理、数据挖掘等诸多领域十分普遍。尽管已提出许多算法来计算 CPD,交替最小二乘(ALS)仍是最广泛使用的分解计算算法之一。近期工作引入了张量的特征值与奇异值概念,并探索了特征向量与奇异向量在信号处理、数据分析及其他领域的应用。我们提出了一种推导张量奇异值与奇异向量的新公式,其考虑的临界点为不同于先前工作的某函数之临界点。以交替方式计算这些临界点启发了一种交替优化算法,该算法在矩阵情形下对应于交替最小二乘算法。然而,对于阶数大于等于 33 的张量,它最小化的是一个不同于常用最小二乘损失的目标函数。对这一新目标的交替优化给出了对因子矩阵的简单更新,其渐近计算代价与 ALS 相同。我们证明了该算法的一次子扫描可对已知秩的精确 CPD 实现超线性收敛率,并进行了实验验证。随后我们将该算法视为针对各因子优化马氏距离,其基础度量依赖于其他因子。这一视角使我们能将方法推广为在对应于 ALS 与新算法的更新之间进行插值,以权衡分解的稳定性与拟合优度。实验结果表明,对于合成与真实世界张量的近似,该算法及其变体收敛到条件数更好的分解,且与 ALS 算法相比具有可比且有时更优的拟合度。

关键词

引用

@article{arxiv.2204.07208,
  title  = {Alternating Mahalanobis Distance Minimization for Stable and Accurate CP Decomposition},
  author = {Navjot Singh and Edgar Solomonik},
  journal= {arXiv preprint arXiv:2204.07208},
  year   = {2022}
}