随机分类器的最优 PAC-Bayesian 后验及其在 SVM 正则化参数选择中的应用

PAC-Bayesian 框架涉及由分类器集上后验分布刻画的随机分类器，对其平均真实风险提供高概率界，并对所用训练样本具有鲁棒性。对给定后验，该界刻画了平均经验风险与基于 KL 散度的模型复杂度项之间的权衡。我们的目标是以最小 PAC-Bayesian 界辨识最优后验。我们考虑有限分类器集与 5 种距离函数：KL 散度、其 Pinsker 界与六次多项式近似；线性与平方距离。基于线性距离的模型导出凸优化问题。我们得到其最优后验的闭式表达。对均匀先验，该后验具有满支撑，其权重负指数正比于误分类数。平方距离与 Pinsker 近似界可能为准凸，并观测到具有单一局部极小。我们利用带严格正性约束的偏 KKT 系统导出不动点方程（FPEs）。这避免了针对最优后验子集支撑的组合搜索。对均匀先验，全维单纯形上的指数搜索可限于按经验风险值递增排序的分类器子集。这些 FPEs 即便在求解器失效的大型分类器集下也快速收敛至驻点。我们将这些方法应用于在 9 个 UCI 数据集上由有限 SVM 正则化参数值集生成的 SVM。这些后验给出具紧界的随机 SVM 分类器。基于 KL 散度的界最紧，但因非凸性与多次调用求根算法而计算昂贵。5 种距离函数的所有最优后验在多数数据集上具最低 10% 测试误差值，其中线性距离最易获得。