线性回归中稀疏变量选择的穷举搜索
机器学习
2018-04-18 v1
摘要
我们提出一种 K-稀疏穷举搜索（ES-K）方法和一种 K-稀疏近似穷举搜索方法（AES-K），用于线性回归中的变量选择。这些方法在假设解释变量的最优组合为 K-稀疏的前提下，穷举测试变量的 K-稀疏组合。通过收集穷举计算 ES-K 的结果，各种用于稀疏变量选择的近似方法可概括为态密度（density of states）。借助该态密度，我们可以比较不同的稀疏变量选择方法，如松弛与采样。对于解释变量组合爆炸至关重要的大规模问题，AES-K 方法利用副本交换蒙特卡洛方法与多重直方图方法有效地重构态密度。将 ES-K 与 AES-K 方法应用于 Ia 型超新星数据，我们在事先给定适当 K 时确认了天文学中的传统理解。然而，我们发现从数据确定 K 存在困难。利用虚拟测量与分析，我们认为这是由数据短缺造成的。
引用
@article{arxiv.1707.02050,
title = {Exhaustive search for sparse variable selection in linear regression},
author = {Yasuhiko Igarashi and Hikaru Takenaka and Yoshinori Nakanishi-Ohno and Makoto Uemura and Shiro Ikeda and Masato Okada},
journal= {arXiv preprint arXiv:1707.02050},
year = {2018}
}
备注
19pages, 3 figures