理解与改进分布外泛化的特征学习
机器学习
2023-10-31 v2 机器学习
摘要
对于分布外（OOD）泛化失败的一个常见解释是，使用经验风险最小化（ERM）训练的模型学习了伪特征而非不变特征。然而，近期的几项研究质疑了这一解释，并发现深度网络可能已学习了足够好的用于 OOD 泛化的特征。尽管初看存在矛盾，我们理论上表明 ERM 本质上同时学习了伪特征与不变特征，而如果伪相关性更强，ERM 往往更快学习伪特征。此外，当将 ERM 学习的特征输入 OOD 目标时，不变特征的学习质量显著影响了最终的 OOD 性能，因为 OOD 目标很少学习新特征。因此，ERM 特征学习可能成为 OOD 泛化的瓶颈。为缓解这种依赖，我们提出特征增强训练（FeAT），以强制模型学习更丰富的、为 OOD 泛化准备的特征。FeAT 迭代地增强模型以学习新特征，同时保留已学习的特征。在每一轮中，保留与增强操作在捕获不同特征的训练数据不同子集上执行。大量实验表明，FeAT 有效学习了更丰富的特征，从而提升了多种 OOD 目标的性能。
引用
@article{arxiv.2304.11327,
title = {Understanding and Improving Feature Learning for Out-of-Distribution Generalization},
author = {Yongqiang Chen and Wei Huang and Kaiwen Zhou and Yatao Bian and Bo Han and James Cheng},
journal= {arXiv preprint arXiv:2304.11327},
year = {2023}
}
备注
Yongqiang Chen, Wei Huang, and Kaiwen Zhou contributed equally; NeurIPS 2023, 55 pages, 64 figures