通过更早切换来更快赶上：AIC-BIC 困境的序贯解
统计理论
2008-09-17 v1 信息论
机器学习
math.IT
统计方法学
机器学习
统计理论
摘要
贝叶斯模型平均、模型选择及其近似方法（如 BIC）通常在统计上是一致的，但有时比其他方法（如 AIC 和留一法交叉验证）达到更慢的收敛速率。另一方面，这些其他方法可能是不一致的。我们将“赶上现象”确定为贝叶斯方法收敛缓慢的一种新解释。基于此分析，我们定义了切换分布，这是对贝叶斯边缘分布的一种修正。我们表明，在广泛条件下，基于切换分布的模型选择和预测既是一致的，又能达到最优收敛速率，从而解决了 AIC-BIC 困境。该方法是实用的；我们给出了一个高效的实现。切换分布具有数据压缩的解释，因此可以被视为一种“序贯”或 MDL 方法；然而，它与文献中通常考虑的 MDL 方法不同。我们将切换分布与贝叶斯因子模型选择和留一法交叉验证进行了比较。
引用
@article{arxiv.0807.1005,
title = {Catching Up Faster by Switching Sooner: A Prequential Solution to the AIC-BIC Dilemma},
author = {Tim van Erven and Peter Grunwald and Steven de Rooij},
journal= {arXiv preprint arXiv:0807.1005},
year = {2008}
}
备注
A preliminary version of a part of this paper appeared at the NIPS 2007 conference