通过"hubNet"过程进行监督学习的正则化
统计方法学
2016-08-22 v1
摘要
我们提出了一种新的监督学习方法。hubNet 过程将基于枢纽（hub）的图模型拟合到预测变量上，以估计每个预测变量与其他预测变量之间的“连接”程度。由此产生一组预测变量权重，随后用于如 lasso 或弹性网等正则化回归中。所得过程易于实现，有时能产生比 lasso 更高的预测精度，并能洞察预测变量的底层结构。HubNet 还可无缝推广至其他监督问题，如正则化逻辑回归（及其他广义线性模型 GLMs）、Cox 比例风险模型，以及随机森林和 boosting 等非线性过程。我们在特定模型下证明了一些恢复结果，并在真实数据和模拟数据上展示了该方法。
引用
@article{arxiv.1608.05465,
title = {Regularization for supervised learning via the "hubNet" procedure},
author = {Leying Guan and Zhou Fan and Robert Tibshirani},
journal= {arXiv preprint arXiv:1608.05465},
year = {2016}
}