耦合非凸非光滑经验风险最小化平稳解的统计分析
统计理论
2019-10-08 v1 机器学习
最优化与控制
统计理论
摘要
本文有两个主要目标：(a) 建立一类耦合非凸非光滑经验风险最小化问题的平稳解与平稳值的若干统计性质——一致性、渐近分布与收敛速率，以及 (b) 通过一个基于噪声幅度的相位恢复问题（后者是当前备受关注的问题）来验证这些性质。这些经验风险最小化问题由可用数据经采样得到，是涉及随机泛函期望值最小化的总体风险模型的计算主力。当这些最小化问题非凸时，计算其全局最优解难以实现。加之期望算子对一般概率分布无法求值，就有必要论证经验问题的平稳解是否为总体问题平稳解的实用近似。当一般分布与非凸性这两个特征，连同常使问题“非 Clarke 正则”的不可微性耦合在一起时，上述论证任务变得具有挑战性。我们的工作旨在无算法设定的框架下应对这一挑战。所得分析因此不同于近期文献中大量基于局部搜索算法的分析。此外，作为对经典以极小值为中心的分析的补充，我们的结果向弥合计算优化与耦合非凸非光滑统计估计问题的渐近分析之间的鸿沟迈出了第一步，以前者扩展以所得实用解的统计性质、并以后者提供更关乎计算可处理性的实用关注。
引用
@article{arxiv.1910.02488,
title = {Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization},
author = {Zhengling Qi and Ying Cui and Yufeng Liu and Jong-Shi Pang},
journal= {arXiv preprint arXiv:1910.02488},
year = {2019}
}