低噪声条件下不完美代理模型的参数不确定性

贝叶斯回归通过最小化期望损失（真实泛化误差的上界）来确定模型参数。然而，该损失忽略了模型不完美时的误设问题。因此，贝叶斯回归得到的参数不确定性被显著低估，并在大数据极限下消失。这在构建低噪声或近确定性计算的模型时尤其成问题，因为主要的不确定性来源被忽略了。我们分析了误设的近确定性代理模型的泛化误差，这一场景在科学和工程中具有广泛相关性。我们证明后验分布必须覆盖每一个训练点，以避免发散的泛化误差，并设计了一个满足此约束的ansatz，对于线性模型，该ansatz带来的额外开销极小。我们在模型问题上进行了演示，然后将其应用于原子机器学习中的千维数据集。我们提出的高效误设感知方案能够在现有方案失效的情况下准确预测和界定测试误差，从而将这一重要的不确定性来源纳入计算工作流程。