SHRIMP：通过迭代幅度剪枝获得更稀疏的随机特征模型
机器学习
2021-12-09 v1 最优化与控制
机器学习
摘要
稀疏收缩加性模型和稀疏随机特征模型已分别发展为学习低阶函数的方法，其中变量间交互很少，但两者均未提供计算效率。另一方面，基于ℓ₂的收缩加性模型虽然高效，但由于所得系数向量是稠密的，因此不提供特征选择。受迭代幅度剪枝技术在发现神经网络彩票票券方面成功的启发，我们提出了一种新方法——基于IMP的更稀疏随机特征模型（ShRIMP）——以高效拟合具有稀疏变量依赖形式的固有低维结构的高维数据。我们的方法可视为构建并寻找两层稠密网络稀疏彩票票券的组合过程。我们通过对阈值化基追踪的泛化误差进行精细分析以及由此得到的特征值界限，解释了ShRIMP所观察到的优势。通过在合成数据和真实世界基准数据集上的函数逼近实验，我们表明ShRIMP相比最先进的稀疏特征和加性方法（如SRFE-S、SSAM和SALSA）获得了更好或具有竞争力的测试精度。同时，ShRIMP以低计算复杂度执行特征选择，并且对剪枝率具有鲁棒性，表明所获子网络结构的鲁棒性。我们通过注意到ShRIMP模型与权重/神经元子网络之间的对应关系，对彩票票券假说获得了深入理解。
引用
@article{arxiv.2112.04002,
title = {SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning},
author = {Yuege Xie and Bobby Shi and Hayden Schaeffer and Rachel Ward},
journal= {arXiv preprint arXiv:2112.04002},
year = {2021}
}