面向分布外泛化的深度稳定学习
机器学习
2021-04-19 v1 人工智能
计算机视觉与模式识别
摘要
基于深度神经网络的方法在测试数据与训练数据分布相似时取得了令人瞩目的性能，否则可能显著失效。因此，消除训练与测试数据间分布偏移的影响对于构建性能可靠的深度模型至关重要。常规方法要么假设训练数据异质性已知（如域标签），要么假设不同域容量近似相等。本文考虑上述假设均不成立的更具挑战性的情形。我们提出通过学习训练样本权重来去除特征间依赖关系，从而解决该问题，这有助于深度模型摆脱伪相关，进而更专注于判别特征与标签间的真实联系。大量实验清晰地证明了我们的方法在多个分布泛化基准上相较最先进（SOTA）对照方法的有效性。通过在包括 PACS、VLCS、MNIST-M 和 NICO 在内的分布泛化基准上的大量实验，我们展示了该方法相较 SOTA 对照方法的有效性。
引用
@article{arxiv.2104.07876,
title = {Deep Stable Learning for Out-Of-Distribution Generalization},
author = {Xingxuan Zhang and Peng Cui and Renzhe Xu and Linjun Zhou and Yue He and Zheyan Shen},
journal= {arXiv preprint arXiv:2104.07876},
year = {2021}
}