块样本 MAC-Bayes 泛化界限

我们提出了一族新的基于块样本的 MAC-Bayes 界限（mean approximately correct）。虽然 PAC-Bayes 界限（probably approximately correct）通常给出以高概率形式的泛化误差界限，但 MAC-Bayes 界限具有相似形式，却界定期望泛化误差。我们提出的界限系列可理解为已知 PAC-Bayes 界限的期望版本的推广。相对于标准 PAC-Bayes 界限，新的界限包含仅依赖于训练数据子集（或“块”）的散度项。我们提出的 MAC-Bayes 界限有望显著改善传统 PAC-Bayes 和 MAC-Bayes 界限的紧致性。这一点通过一个简单数值示例说明：无论选取何种先验，原始 PAC-Bayes 界限都可能因而变得空穴而鹤鸣，而所提出的一族界限在合适的块大小选择下则为有限值。我们还探讨了是否存在高概率形式的 MAC-Bayes 界限（即类似形式的 PAC-Bayes 界限）。我们以一个示例否定了这个问题，说明在一般情况下，不可能建立一个 PAC-Bayes 界限，该界限 (a) 在所提出的 MAC-Bayes 界限以 $\mathcal{O}(n^{-1/2})$ 的速率消失时，以更快的速率消失，以及 (b) 表现出对允许错误概率的对数依赖性。