错误设定高维二值模型与随机回归子下基于 Lasso 方法的选择一致性
统计理论
2020-02-19 v1 机器学习
统计方法学
机器学习
统计理论
摘要
我们考虑在一般损失函数下，针对二值响应的高维回归问题选择随机预测变量。一个重要特例是二值模型为半参数模型，且在参数模型拟合下响应函数被错误设定。针对此类情形的选择旨在以高概率恢复相关风险最小化器的支撑集。我们提出一种两步选择过程：首先通过 Lasso 方法对预测变量进行筛选与排序，然后在相应的嵌套模型族上选择使广义信息准则最小化的预测变量子集。我们证明了该选择方法在允许预测变量数目远大于观测数目的条件下具有一致性。对于随机预测变量分布满足线性回归条件的半参数情形，真实参数与估计参数共线，且其公共支撑集可被一致地识别。
引用
@article{arxiv.1906.04175,
title = {Selection consistency of Lasso-based procedures for misspecified high-dimensional binary model and random regressors},
author = {Mariusz Kubkowski and Jan Mielniczuk},
journal= {arXiv preprint arXiv:1906.04175},
year = {2020}
}