极小惩罚与斜率启发式：一项综述

Birgé和Massart于2001年提出斜率启发式，作为从数据中最优地选择惩罚前未知乘法常数的方法。它建立在极小惩罚的概念之上，此后已推广到一些“极小惩罚算法”。本文综述了为此类算法取得的理论结果，包含最简单框架下的自包含证明、面向进一步推广的精确证明思路，以及若干新结果。明确了与残差方差估计器的显式联系——对此主题有原创性贡献，表明在此任务上斜率启发式的表现几乎与具有最佳模型选择的基于残差的估计器一样好——以及与L曲线或肘部启发式、Mallows' C_p和Akaike's FPE等一些经典算法的联系。也讨论了实际问题，包括两种新的极小惩罚算法的实用定义，并在合成数据上与先前提出的定义进行比较。最后，提出了若干猜想和开放问题作为未来研究方向。