基于参数分布后验泛化的贝叶斯域不变学习
机器学习
2023-10-26 v1 人工智能
摘要
域不变学习旨在学习能够从多种训练域中提取不变特征的模型，从而更好地泛化到未见目标域。近来，贝叶斯神经网络在域不变学习中取得了有前景的结果，但多数工作集中于对齐特征分布而非参数分布。受贝叶斯神经网络原理启发，我们尝试直接学习网络参数的域不变后验分布。我们首先提出一个定理，表明参数的不变后验可通过聚合不同训练域上的后验来隐式推断。我们的假设更为宽松，并允许提取更多的域不变信息。我们还提出了一种简单而有效的方法，称为后验泛化（PosTerior Generalization, PTG），可用于估计不变参数分布。PTG 充分利用变分推断来近似参数分布，包括不变后验与各训练域上的后验。此外，我们开发了 PTG 的轻量版以用于广泛应用。PTG 在 DomainBed 上的多个域泛化基准中展现出有竞争力的性能。另外，PTG 可使用任何已有的域泛化方法作为其先验，且与先前最优（state-of-the-art）方法结合时性能可进一步提升。代码将公开。
引用
@article{arxiv.2310.16277,
title = {Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions},
author = {Shiyu Shen and Bin Pan and Tianyang Shi and Tao Li and Zhenwei Shi},
journal= {arXiv preprint arXiv:2310.16277},
year = {2023}
}