AgFlow：基于梯度流隐式正则化效应的惩罚PCA快速模型选择方法
机器学习
2021-10-08 v1 机器学习
摘要
主成分分析（PCA）作为一种有效的特征提取与降维技术已被广泛应用。在高维低样本量（HDLSS）设定下，人们可能更倾向于使用具有惩罚载荷的修正主成分，并通过在具有不同惩罚的多种模型间进行模型选择来实现惩罚项的自动选取。早期工作[1,2]提出了惩罚PCA，指出可通过岭回归的解路径在惩罚PCA中实现模型选择，然而由于矩阵求逆的密集计算，该方法极其耗时。本文提出一种针对惩罚PCA的快速模型选择方法，称为近似梯度流（AgFlow），其通过引入（随机）梯度流[3,4]所带来的隐式正则化效应降低计算复杂度，并在变化的正则化下获得惩罚PCA的完整解路径。我们在真实数据集上进行了大量实验。AgFlow在计算代价方面优于现有方法（Oja[5]、Power[6]、Shamir[7]以及原始岭估计量）。
引用
@article{arxiv.2110.03273,
title = {AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow},
author = {Haiyan Jiang and Haoyi Xiong and Dongrui Wu and Ji Liu and Dejing Dou},
journal= {arXiv preprint arXiv:2110.03273},
year = {2021}
}
备注
accepted by Machine Learning