带松弛优化的风险理论及其在支持向量机中的应用

本文考虑带松弛的优化，这是一种用于数据驱动设计的广泛范式。该方法此前由本文同一作者于 Garatti 与 Campi (2019) 中研究过，该研究表明了两个概念之间的深层联系：风险（不满足新的样本外约束的概率）与复杂度（依 Garatti 与 Campi (2019) 中引入的定义）。该联系被揭示在应用中具有深远影响，因其意味着风险可由复杂度估计，而复杂度是可从数据测得而无需任何数据生成机制知识的量。在本工作中我们建立了新结果。首先，我们拓展了 Garatti 与 Campi (2019) 的范围以涵盖更一般的设定，覆盖机器学习中的多种算法。进而，我们研究经典支持向量方法——包括 SVM（支持向量机）、SVR（支持向量回归）与 SVDD（支持向量数据描述）——并推导这些方法泛化能力的新结果。所有结果对任意有限数据样本大小均成立。当样本大小趋于无穷时，我们建立了前所未有的结果：无论复杂度取值如何，风险趋近于复杂度与数据样本基数之比。