基于交叉验证的分类器性能估计量的光滑性研究

文献中存在许多交叉验证（CV）的版本，且每个版本又有不同的变体。许多从业者不加区分地使用它们，却未解释它们之间的联系或差异。本文有三方面贡献。首先，我们对估计分类规则错误率与ROC曲线下面积（AUC）的这些不同版本与变体进行数学形式化，以展示它们之间的联系与区别。其次，我们证明它们的一些性质，并证明许多变体或是冗余的或是“非光滑”的。因此，我们建议弃用所有冗余的版本与变体，仅保留留一法、K折与重复K折。我们表明，在三者中唯有后者是“光滑”的，因而在数学上类似于估计分类规则的平均性能。然而，经验上，对于我们所用数学与实验解释的“弱相关”这一已知现象，它估计条件性能与平均性能的精度几乎相同。第三，我们在文末提出两个研究要点，或可解答三者中能否产生最终胜出估计量这一遗留问题：（1）需要进行一项比文献中已有的更为全面的比较研究，且现有研究未得出总体胜者，该研究须考虑广泛的分布、数据集与分类器，包括通过近期深度学习方法获得的复杂分类器。（2）我们勾勒了推导一种严格方法以估计唯一“光滑”版本即重复K折CV方差的路径，而非文献中那些忽略CV各折间协方差结构的临时方法。