MDAS：一种评估机器学习中数据划分质量的诊断方法
统计计算
2026-01-09 v2
摘要
在机器学习领域，模型性能通常通过随机将数据划分为训练集和测试集来评估。然而，不同的随机划分可能会产生显著不同的性能估计，因此一个真正好的模型可能因不幸的划分而被丢弃，或较差的模型被选中。这促使我们需要一种有原则的方法来诊断给定数据划分的质量。我们提出了一种基于新差异度量——马哈拉诺比斯分布对齐分数（Mahalanobis Distribution Alignment Score, MDAS）的诊断框架。MDAS是两个多元样本之间的对称不相似度量，而非严格的度量。MDAS捕获均值和协方差差异，并且是仿射不变的。在此基础上，我们构建了一个蒙特卡洛检验，用于评估观察到的划分是否与典型的随机划分在统计上相容，从而为划分质量产生可解释的p值。使用多个真实数据集，我们研究了MDAS与模型鲁棒性之间的关系，包括其与归一化赤池信息准则的关联。最后，我们应用MDAS将现有的最先进的确定性数据划分策略与标准随机划分进行比较。实验结果表明，MDAS为审计数据划分和提高经验模型评估的可靠性提供了一种简单的、与模型无关的工具。
引用
@article{arxiv.2206.11721,
title = {MDAS: A Diagnostic Approach to Assess the Quality of Data Splitting in Machine Learning},
author = {Palash Ghosh and Bittu Karmakar and Eklavya Jain and J. Neeraja and Buddhananda Banerjee and Tanujit Chakraborty},
journal= {arXiv preprint arXiv:2206.11721},
year = {2026}
}