基于卡方散度的 PAC-贝叶斯界的最优后验及其与基于 KL 散度的最优后验和交叉验证方法的比较

我们研究了最近引入的基于卡方散度（chi-squared divergence）的 PAC-贝叶斯界的最优后验，涉及其分布性质、计算可扩展性以及测试集性能。对于有限分类器集合，我们推导了三种距离函数：KL 散度、线性距离与平方距离的界。最优后验权重与经验风险的偏差成正比，通常具有子集支撑。对于均匀先验，只需在按这些风险排序的分类器子集上的后验中搜索即可。我们将线性距离下的界最小化表示为凸规划，并获得了其最优后验的闭式表达式。而平方距离下在特定条件为准凸规划，KL 散度下为非凸优化（凸函数之差）。为计算此类最优后验，我们推导了快速收敛的不动点（FP）方程。我们将这些方法应用于有限组 SVM 正则化参数值，得到具有紧界的不确定性 SVM（stochastic SVMs）。我们在多种具有不同风险值范围与方差等的 UCI 数据集上，对我们的与已知的基于 KL 散度的最优后验进行了全面的性能比较。基于卡方散度的后验具有更弱的界与更差的测试误差，暗示基于 KL 散度的后验具有潜在的正则化作用。我们的研究凸显了散度函数对 PAC-贝叶斯分类器性能的影响。我们将我们的随机分类器与基于交叉验证的确定性分类器进行比较。后者具有更好的测试误差，但我们的方法对样本更鲁棒、具有可量化的泛化保证且计算速度快得多。