域对抗训练的免费午餐：环境标签平滑
机器学习
2023-02-02 v1
摘要
机器学习模型的一个基本挑战是如何将学到的模型推广到分布外（OOD）数据。在各种方法中，通过域对抗训练（DAT）利用不变特征受到了广泛关注。尽管取得了成功，我们观察到 DAT 存在训练不稳定性，主要源于过度自信的域判别器和环境标签噪声。为解决此问题，我们提出了环境标签平滑（ELS），其鼓励判别器输出软概率，从而降低判别器的置信度并缓解噪声环境标签的影响。我们通过实验和理论证明，ELS 能够改善训练稳定性、局部收敛性以及对噪声环境标签的鲁棒性。通过将 ELS 与 DAT 方法结合，我们能够在广泛的域泛化/自适应任务上取得最先进的（state-of-the-art）结果，尤其是在环境标签高度噪声时。
引用
@article{arxiv.2302.00194,
title = {Free Lunch for Domain Adversarial Training: Environment Label Smoothing},
author = {YiFan Zhang and Xue Wang and Jian Liang and Zhang Zhang and Liang Wang and Rong Jin and Tieniu Tan},
journal= {arXiv preprint arXiv:2302.00194},
year = {2023}
}
备注
ICLR 2023, 38 pages, 8 figures, 18 tables