差分凸(DC)正则化高维稀疏估计的统一框架
统计理论
2018-12-19 v1 统计理论
摘要
在线性回归框架下，我们研究当下层模型被假定具有少量非零系数(即下层线性模型稀疏)时的变量选择问题。特定形式的非凸罚函数在文献中已对稀疏估计有充分研究。近期工作 \cite{ahn2016difference} 指出，几乎所有现有非凸罚函数均可表示为差分凸(DC)函数，即表示为两个凸函数之差，而其自身未必凸。现有大量文献涉及目标函数和/或约束含 DC 函数的优化问题，并已提出高效的数值解法。在 DC 框架下，考虑方向平稳(d-stationary)解，且其通常不唯一。本文中，我们证明在若干温和条件下，某优化问题(具 DC 目标)中 d-平稳解的某个子集具有理想的统计性质：即渐近估计一致性、渐近模型选择一致性、渐近有效性。上述性质正是许多研究者针对一系列所提非凸罚函数在稀疏估计中所证明的性质。我们的假设弱于或可与现有其他工作所采用条件相比拟。本工作表明 DC 是为涉及非凸罚函数的现有工作提供统一方法的良好框架，并桥接了优化与统计两个领域。
引用
@article{arxiv.1812.07130,
title = {A Unifying Framework of High-Dimensional Sparse Estimation with Difference-of-Convex (DC) Regularizations},
author = {Shanshan Cao and Xiaoming Huo and Jong-Shi Pang},
journal= {arXiv preprint arXiv:1812.07130},
year = {2018}
}