面向域泛化的重心对齐与重构损失最小化
机器学习
2023-05-23 v6 机器学习
摘要
本文推进了机器学习中域泛化（DG）的理论与实践。我们考虑典型的 DG 设定，其中假设由表示映射与标注函数组成。在此设定下，大多数流行的 DG 方法旨在通过最小化 unseen domain 中分类风险的一个著名上界来联合学习表示与标注函数。然而在实践中，基于该理论上界的方法忽略了一项由于同时依赖于表示映射与 unseen domain 中未知最优标注函数而无法直接优化的项。为弥合理论与实践的这一鸿沟，我们引入了一个不含此类双重依赖项的新上界，从而得到了一个对 unseen domain 完全可优化的风险上界。我们的推导利用了将最优传输度量与信息论度量联系起来的经典与近期传输不等式。与先前的界相比，我们的界引入了两个新项：（i）对齐域间分布的 Wasserstein-2 重心项，以及（ii）评估表示重构原始数据质量的重构损失项。基于这一新上界，我们提出了一种名为 Wasserstein Barycenter Auto-Encoder（WBAE）的新颖 DG 算法，其同时最小化分类损失、重心损失与重构损失。数值结果表明，所提方法在多个数据集上优于当前最先进的 DG 算法。
引用
@article{arxiv.2109.01902,
title = {Barycentric-alignment and reconstruction loss minimization for domain generalization},
author = {Boyang Lyu and Thuan Nguyen and Prakash Ishwar and Matthias Scheutz and Shuchin Aeron},
journal= {arXiv preprint arXiv:2109.01902},
year = {2023}
}
备注
This article has been accepted for publication in IEEE Access