基于不变性的域泛化中表示正则化的益处
机器学习
2021-06-01 v1 机器学习
摘要
可靠机器学习的一个关键方面是设计可部署于泛化到新的相关但未被观测环境的系统。域泛化旨在缓解观测环境与未观测环境之间的预测差距。先前的方法通常引入不变表示学习以取得良好的经验性能。本文中，我们揭示仅学习不变表示对未观测环境是脆弱的。为此，我们推导出新颖的理论分析以控制在表示学习中的未观测测试环境误差，其凸显了控制表示平滑度的重要性。在实践中，我们的分析进一步启发了一种高效的正则化方法以提升域泛化中的鲁棒性。我们的正则化方法与现有用于不变表示学习的域泛化算法正交，且可直接采用。经验结果表明，我们的算法在各种数据集与不变性准则下均优于基础版本。
引用
@article{arxiv.2105.14529,
title = {On the benefits of representation regularization in invariance based domain generalization},
author = {Changjian Shui and Boyu Wang and Christian Gagné},
journal= {arXiv preprint arXiv:2105.14529},
year = {2021}
}