通过风险分布匹配实现域泛化
机器学习
2023-10-31 v1 计算机视觉与模式识别
摘要
我们提出一种利用风险分布刻画域从而达成域不变性的域泛化（DG）新方法。我们的发现表明，风险分布能有效凸显训练域之间的差异并揭示其固有复杂性。在测试中，我们可能观察到风险分布间相似或潜在加剧的发散。因此，我们提出一个有力主张：最小化训练域间风险分布的发散可带来 DG 的鲁棒不变性。该概念背后的关键原理是，在域不变或稳定特征上训练的模型可在各域上持续产生相似的风险分布。基于此思想，我们提出风险分布匹配（RDM）。利用最大均值差异（MMD）距离，RDM 旨在最小化训练域间风险分布的方差。然而，当域数量增加时，直接优化方差会导致 MMD 计算量线性增长，从而效率低下。作为替代，我们提出一种仅需一次 MMD 计算的近似，通过仅对齐两个分布：最坏情况域的分布与所有域的聚合分布。值得注意的是，该方法在经验上优于优化分布方差，同时计算更高效。不同于传统 DG 匹配算法，RDM 因聚焦于标量风险分布、规避了特征或梯度匹配中可见的高维挑战陷阱而具有增强的效力。我们在标准基准数据集上的大量实验表明，RDM 展现出优于最先进 DG 方法的泛化能力。
引用
@article{arxiv.2310.18598,
title = {Domain Generalisation via Risk Distribution Matching},
author = {Toan Nguyen and Kien Do and Bao Duong and Thin Nguyen},
journal= {arXiv preprint arXiv:2310.18598},
year = {2023}
}
备注
Accepted at 2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2024)