利用合适的初始估计将非负 garrote 从被遗忘中发掘——在低维与高维真实数据中的示例
统计方法学
2022-10-28 v1
摘要
非负 garrote (NNG) 是最早将变量选择与回归估计收缩相结合的方法之一。当兴趣不止于推导预测变量时，NNG 相较于流行的 lasso 具有一些概念上的优势。然而，NNG 很少受到关注。原始 NNG 依赖于最小二乘 (OLS) 估计，在高度多重共线性的数据 (HDM) 中其变异性很大，且在高维数据 (HDD) 中不存在。这可能是 NNG 未用于此类数据的原因。已有一些替代初始估计被提出，但在实践中几乎未被使用。通过分析三个结构不同的数据集，我们证明了 NNG 也可应用于 HDM 和 HDD，并在所选变量、回归估计和预测方面将其与 lasso、自适应 lasso、松弛 lasso 和最佳子集选择进行了比较。在 HDM 中以岭回归初始估计替代 OLS，在 HDD 中以 lasso 初始估计替代 OLS，有助于 NNG 选择比竞争方法更简单的模型，且预测误差增加不多。更简单的模型更易于解释，这是描述性建模中的一个重要问题。基于三个数据集的有限经验，我们假定 NNG 可作为 lasso 及其扩展的合适替代。需要中立的比较模拟研究，以更好地理解变量选择方法的性质、对其进行比较并为实践提供指导。
引用
@article{arxiv.2210.15592,
title = {Exhuming nonnegative garrote from oblivion using suitable initial estimates- illustration in low and high-dimensional real data},
author = {Edwin Kipruto and Willi Sauerbrei},
journal= {arXiv preprint arXiv:2210.15592},
year = {2022}
}