带互补约束的数学规划及其在非线性支持向量机调参中的应用

我们考虑带互补约束的数学规划（MPCC）。解决这类问题的一个主要挑战是标准约束条件（CQs）的系统性失效。为了应对这一挑战，文献中已设计了可获取的 Mangasarian Fromovitz Constraint Qualification（MFCQ）版本并广泛研究。本文深入研究两种此类 MPCC-MFCQ 及其对 MPCC 算法的影响。作为关键贡献，我们证明了在一种弱于当前文献中使用的 CQs 的 relaxed MPCC-MFCQ 下，sequential penalization 和 Scholtes 松弛算法的收敛性。随后，我们将非线性支持向量机（SVM）调参问题形式化为 MPCC。对于该应用，我们证明了在相当温和的假设下，上述 relaxed MPCC-MFCQ 成立。此外，我们实现了稳健的算法并在真实数据集上进行了全面的数值实验，结果表明，应用于 MPCC 形式的 sequential penalization 方法在调参 SVM 超参数时，可以超过 Scholtes 松弛技术和机器学习文献中最先进的无导数方法。