PAC-Bayes、MAC-Bayes 与条件互信息：处理一般 VC 类的快速率界

我们给出条件 PAC-Bayesian 与互信息（MI）泛化界的一种新颖且统一的推导。我们将条件 MI 界作为条件 MAC-Bayesian（Mean Approximately Correct，平均近似正确）界的一个特例（取特定先验）导出，而后者本身由条件 PAC-Bayesian 界导出，其中“条件”是指可使用基于联合训练样本与幻影样本的先验。这使我们能为一般 VC 类得到非平凡的 PAC-Bayes 与 MI 风格界，而近期已证明使用标准 PAC-Bayesian/MI 界无法做到这一点。其次，它使我们能在 Bernstein 条件成立时以及对于指数凹损失（此时 $\gamma=1$）得到阶为 $O \left(({\text{KL}}/n)^{\gamma}\right)$（$\gamma > 1/2$）的更快收敛速率，这是标准 PAC-Bayes 泛化界与 MI 界均无法做到的。我们的工作推广了 Steinke 与 Zakynthinou [2020] 的近期工作（他们处理了带 VC 类的 MI 但未涉及 PAC-Bayes 与快速率）、Hellström 与 Durisi [2020] 的近期工作（他们通过统一指数不等式将后者扩展到 PAC-Bayes 设定），以及 Mhammedi 等人 [2019] 的开创性工作（他们提出了快速率 PAC-Bayes 泛化误差界但未涉及 MI 与一般 VC 类）。