流形弹性网：稀疏降维的统一框架
机器学习
2010-07-28 v3 机器学习
摘要
基于流形学习的降维算法难以找到最优稀疏解。基于lasso或弹性网惩罚的流形学习降维并非直接的lasso惩罚最小二乘问题，因此无法应用稀疏学习中最流行的算法之一——最小角回归(LARS)(Efron等人\cite{LARS})。因此，当前大多数方法采用间接方式或具有严格设置，这给应用带来不便。在本文中，我们提出了流形弹性网，简称MEN。MEN融合了基于流形学习的降维和基于稀疏学习的降维的优点。通过一系列等价变换，我们证明MEN等价于lasso惩罚最小二乘问题，因此采用LARS来获得MEN的最优稀疏解。特别地，MEN在后续分类中具有以下优势：1) 低维数据表示良好地保留了样本的局部几何结构；2) 稀疏投影计算同时考虑了间隔最大化和分类误差最小化；3) MEN的投影矩阵提高了计算简洁性；4) 弹性网惩罚减少了过拟合问题；5) MEN的投影矩阵可以从心理学和生理学角度解释。在多个流行数据集上的人脸识别实验证据表明，MEN优于顶级的降维算法。
引用
@article{arxiv.1007.3564,
title = {Manifold Elastic Net: A Unified Framework for Sparse Dimension Reduction},
author = {Tianyi Zhou and Dacheng Tao and Xindong Wu},
journal= {arXiv preprint arXiv:1007.3564},
year = {2010}
}
备注
33 pages, 12 figures