贝叶斯实验设计用于模型差异校准：Kullback--Leibler 散度与Wasserstein距离的竞争
机器学习
2026-01-26 v1
摘要
设计系统性地从复杂物理系统中收集数据的实验是加速科学发现的核心。虽然贝叶斯实验设计（BED）提供了原则且基于信息的框架，将实验规划与概率推理集成，但BED中效用函数的选择是长期且活跃的话题，不同准则强调不同的信息概念。虽然Kullback--Leibler（KL）散度一直是最常用的选择之一，但最近的研究提出了Wasserstein距离作为替代方案。本文首先通过一个 toy 例子说明Wasserstein距离的问题——固定形状后验的Wasserstein距离值取决于其主要质量在支持集中的相对位置，尤其在非信息性先验（如均匀分布）下，可能表现出与信息增益无关的虚假奖励。随后我们通过BED文献中的一个经典源反演问题，系统比较这两种准则，发现在模型差异为零的情况下KL散度倾向于实现更快的收敛，而Wasserstein度量在模型差异不可忽略时提供更稳健的序列BED结果。这些发现阐明了KL散度与Wasserstein度量在效用函数中的权衡，并为在实际BED应用中选择合适准则提供了指导。
引用
@article{arxiv.2601.16425,
title = {Bayesian Experimental Design for Model Discrepancy Calibration: A Rivalry between Kullback--Leibler Divergence and Wasserstein Distance},
author = {Huchen Yang and Xinghao Dong and Jin-Long Wu},
journal= {arXiv preprint arXiv:2601.16425},
year = {2026}
}