勿受调优参数误导：利用 TREX 实现高维无调优变量选择
统计方法学
2015-05-26 v3 机器学习
摘要
Lasso 是高维统计学的开创性贡献，但它依赖于一个在实践中难以校准的调优参数。对此问题的部分补救措施是 Square-Root Lasso，因为它能固有地校准噪声方差。然而，Square-Root Lasso 仍需要针对模型的所有其他方面校准调优参数。在本研究中，我们介绍了 TREX，作为 Lasso 的一种替代方案，它能对模型的所有方面进行固有校准。这种对整个模型的适应性使得 TREX 成为一种不需要任何调优参数校准的估计量。我们表明，在变量选择和计算效率方面，TREX 可以优于交叉验证的 Lasso。我们还引入了 TREX 的 bootstrap 版本，可以进一步改善变量选择。我们在合成数据以及一个近期的高维生物数据集（考虑枯草芽孢杆菌中核黄素生产）上展示了 TREX 的良好性能。
引用
@article{arxiv.1404.0541,
title = {Don't Fall for Tuning Parameters: Tuning-Free Variable Selection in High Dimensions With the TREX},
author = {Johannes Lederer and Christian Müller},
journal= {arXiv preprint arXiv:1404.0541},
year = {2015}
}