用于多模型比较的核 Stein 检验
机器学习
2019-10-29 v1 机器学习
摘要
我们解决非参数多模型比较问题：给定 个候选模型，判断每个候选模型是否与最佳模型一样好或更差。我们提出两种统计检验，各自控制不同的决策错误概念。第一种检验基于后选择推断框架，可证明地控制被错误声明为更差的最佳模型数量（假阳性率）。第二种检验基于多重校正，控制被声明为更差但实际与最佳模型一样好的模型比例（错误发现率）。我们证明在适当条件下，第一种检验可比第二种产生更高的真阳性率。在玩具及真实（CelebA、Chicago Crime 数据）问题上的实验结果表明，两种检验具有高真阳性率且错误率控制良好。相比之下，不加校正地选择得分最低模型的朴素方法会导致更多假阳性。
引用
@article{arxiv.1910.12252,
title = {Kernel Stein Tests for Multiple Model Comparison},
author = {Jen Ning Lim and Makoto Yamada and Bernhard Schölkopf and Wittawat Jitkrittum},
journal= {arXiv preprint arXiv:1910.12252},
year = {2019}
}
备注
Accepted to NeurIPS 2019