中文

弱分类器验证神经后验估计的惊人强度

机器学习 2025-07-24 v1 机器学习

摘要

神经后验估计(NPE)已成为一种强大的方法,用于在真实后验 p(θy)p(\theta \mid y) 难以计算或抽样的情形下的 amortized Bayesian 推断。但评估神经后验估计的准确性仍然具有挑战性,现有方法存在诸多局限性。一种引人注目的且广泛使用的方法是分类器两样本检验(C2ST),其中训练一个分类器来区分来自真实后验 p(θy)p(\theta \mid y) 与学习的 NPE 近似 q(θy)q(\theta \mid y) 的样本。尽管 C2ST 的原理简洁,但其理论和实际可靠性依赖于获得接近 Bayes 最优分类器——这一要求极少满足,且最多只能难以验证。因此,一个主要的开放性问题是:弱分类器是否仍然有用用于神经后验验证?我们证明了答案是肯定的。基于 Hu 和 Lei 的工作,我们提出了若干关键结果,用于该 conformal C2ST 的变体,将任何训练好的分类器的得分——即使是弱或过拟合模型——转换为精确的有限样本 p 值。我们确立了 conformal C2ST 的两个关键理论属性:(i) finite-sample Type-I 错误控制,(ii) 随着训练分类器错误而轻微退化的非平凡检验功效。结果即使是弱的、有偏的或过拟合的分类器仍可产生强大且可靠的检验。经验上,conformal C2ST 在广泛的基准测试中超越了经典判别性检验。这些结果揭示了弱分类器在验证神经后验估计方面的被低估的强度,确立了 conformal C2ST 作为现代基于模拟的推断的实用、理论依托的诊断工具。

关键词

引用

@article{arxiv.2507.17026,
  title  = {The surprising strength of weak classifiers for validating neural posterior estimates},
  author = {Vansh Bansal and Tianyu Chen and James G. Scott},
  journal= {arXiv preprint arXiv:2507.17026},
  year   = {2025}
}