中文

MMD 聚合双样本检验

机器学习 2023-08-22 v4 机器学习 统计理论 统计方法学 统计理论

摘要

我们提出两种基于最大均值差异(MMD)的新型非参数双样本核检验。首先,对固定核,我们使用置换或 wild bootstrap(两种确定检验阈值的常用数值过程)构造 MMD 检验。我们证明该检验能非渐近地控制第一类错误概率。因此,它即使在小样本设置下也能可靠使用并保持良好校准,这与先前仅渐近保证正确检验水平的 MMD 检验不同。当密度差异位于 Sobolev 球内时,我们证明采用依赖于 Sobolev 球光滑度参数的特定核的 MMD 检验具有极小极大最优性。实践中该参数未知,故无法使用此特定核的最优 MMD 检验。为克服该问题,我们构造了一种称为 MMDAgg 的聚合检验,其对光滑度参数自适应。该检验在所用核集合上最大化检验功效,无需留出数据用于核选择(这会导致检验功效损失),也无需如中位数启发式等任意核选择。我们证明 MMDAgg 仍非渐近控制检验水平,并以至多一个迭代对数因子的差距达到 Sobolev 球上的极小极大率。我们的保证不限于特定核类型,而适用于任意一维平移不变特征核的乘积。我们提供了使用自适应带宽集合的、用户友好的无参数 MMDAgg 实现。我们证明,在满足 Sobolev 光滑度假设的合成数据上,MMDAgg 显著优于其他最先进的基于 MMD 的双样本检验;且在真实世界图像数据上,MMDAgg 的功效接近利用神经网络等模型的检验。

关键词

引用

@article{arxiv.2110.15073,
  title  = {MMD Aggregated Two-Sample Test},
  author = {Antonin Schrab and Ilmun Kim and Mélisande Albert and Béatrice Laurent and Benjamin Guedj and Arthur Gretton},
  journal= {arXiv preprint arXiv:2110.15073},
  year   = {2023}
}

备注

81 pages