带可证明保证的岭回归特征选择
机器学习
2015-12-08 v2 信息论
机器学习
math.IT
摘要
我们引入单集谱稀疏化作为一种基于确定性采样的特征选择技术，用于正则化最小二乘分类，即岭回归的分类类比。该方法是无监督的，并就特征选择后分类函数相对于使用所有特征获得的分类函数的泛化能力给出最坏情况保证。我们还引入杠杆分数采样作为一种用于岭回归的无监督随机特征选择方法。我们在固定设计设定下给出了单集谱稀疏化和杠杆分数采样在岭回归上的风险界，并表明采样空间中的风险与全特征空间中的风险相当。我们在合成和真实世界数据集（即TechTC-300数据集的一个子集）上进行实验以支持我们的理论。实验结果表明所提方法优于现有的特征选择方法。
引用
@article{arxiv.1506.05173,
title = {Feature Selection for Ridge Regression with Provable Guarantees},
author = {Saurabh Paul and Petros Drineas},
journal= {arXiv preprint arXiv:1506.05173},
year = {2015}
}
备注
To appear in Neural Computation. A shorter version of this paper appeared at ECML-PKDD 2014 under the title "Deterministic Feature Selection for Regularized Least Squares Classification."