通过耦合协方差在特征空间中学习:不对称核SVD与Nyström方法
机器学习
2025-03-11 v2 人工智能
机器学习
摘要
与Mercer核方法(例如用于核主成分分析(KPCA))不同,先前研究表明奇异值分解(SVD)与不对称核固有相关,并提出了不对称核奇异值分解(KSVD)。然而,现有的KSVD公式无法处理无限维特征映射,变分目标可能无界,并且需要进一步的数值评估和机器学习探索。在本文中,i) 我们引入了一种基于耦合协方差特征问题(CCE)的新不对称学习范式,通过协方差算子允许无限维特征映射。CCE的解最终从诱导的不对称核矩阵的SVD获得,提供了与KSVD的联系。ii) 从一对耦合伴随特征函数对应的积分方程出发,我们通过有限样本近似形式化了不对称Nyström方法以加速训练。iii) 我们提供了首次实证评估,验证了KSVD的实际效用和优势,并与跨多个任务采用对称化或线性SVD的方法进行了比较。
引用
@article{arxiv.2406.08748,
title = {Learning in Feature Spaces via Coupled Covariances: Asymmetric Kernel SVD and Nystr\"om method},
author = {Qinghua Tao and Francesco Tonin and Alex Lambert and Yingyi Chen and Panagiotis Patrinos and Johan A. K. Suykens},
journal= {arXiv preprint arXiv:2406.08748},
year = {2025}
}
备注
19 pages, 9 tables, 6 figures