利用交叉验证检验排序
统计方法学
2022-02-14 v2 统计理论
统计理论
摘要
本研究探讨如何判断两个排序是否来自同一分布。我们评估了三种混合检验：Wilcoxon、Dietterich和Alpaydin统计检验与交叉验证（CV）相结合，每种检验采用5至10折，共计18种变体。我们将这些检验应用于一种流行的比较统计检验框架——基于排序间曼哈顿距离的排序差之和（Sum of Ranking Differences）。所引入的方法广泛适用于从机器学习到社会科学等领域。为比较这些方法，我们采用了源自经济学的一种创新思路，设计了九种用于检验第一类与第二类错误的情景，这些情景代表了CV检验日常面对的典型情况（即不同数据结构）。最优CV方法取决于对最小化第一类/第二类错误、输入规模以及数据中预期模式的偏好。采用八折的Wilcoxon方法在三种所考察的输入规模下均表现最佳。尽管Dietterich和Alpaydin方法在第一类错误情景中最优，它们在第二类错误情景中表现极差。我们在来自国际象棋与化学的真实数据上展示了结果。总体而言，我们不能推荐以Alpaydin或Dietterich作为Wilcoxon交叉验证的替代方案。
引用
@article{arxiv.2105.11939,
title = {Testing Rankings with Cross-Validation},
author = {Balázs R. Sziklai and Máté Baranyi and Károly Héberger},
journal= {arXiv preprint arXiv:2105.11939},
year = {2022}
}