用于惩罚零方差判别分析的乘子交替方向法
机器学习
2015-12-09 v4 最优化与控制
摘要
我们考虑在给定数据的特征数显著大于观测数的高维设定下的分类任务。为了完成此任务，我们提出了一种启发式方法，称为稀疏零方差判别分析（SZVD），用于在高维数据上同时执行线性判别分析和特征选择。该方法结合了经典的零方差判别分析（在样本类内协方差矩阵的零空间中识别判别向量）与施加惩罚以在结果向量中诱导稀疏结构。为了近似求解由此产生的非凸问题，我们开发了一种基于乘子交替方向法的简单算法。此外，我们证明了该算法适用于更大的一类惩罚广义特征值问题，包括稀疏主成分分析问题的一种特定松弛。最后，我们为算法收敛至原始非凸问题的驻点建立了理论保证，并实证演示了我们的启发式方法在分类模拟数据和源自时间序列分类应用数据时的有效性。
引用
@article{arxiv.1401.5492,
title = {Alternating direction method of multipliers for penalized zero-variance discriminant analysis},
author = {Brendan P. W. Ames and Mingyi Hong},
journal= {arXiv preprint arXiv:1401.5492},
year = {2015}
}