赢家来自输家票：通过探索变体参数改进不变学习以提升分布外泛化
机器学习
2023-10-26 v1 计算机视觉与模式识别
摘要
分布外（Out-of-Distribution, OOD）泛化旨在学习鲁棒模型，使其能良好泛化至各种环境，而不拟合于特定分布的特征。近期基于彩票假设（Lottery Ticket Hypothesis, LTH）的研究通过最小化学习目标以寻找对任务至关重要的部分参数来解决该问题。然而，在OOD问题中，此类解法是次优的，因为学习任务包含严重的分布噪声，可能误导优化过程。因此，除了寻找任务相关参数（即不变参数）外，我们提出了用于不变学习的变体参数探索（Exploring Variant parameters for Invariant Learning, EVIL），其同时利用分布知识来寻找对分布偏移敏感的参数（即变体参数）。一旦将变体参数排除于不变学习之外，便可找到一个抗分布偏移的鲁棒子网络。此外，跨分布相对稳定的参数可被视为不变参数以改进不变学习。通过充分探索变体与不变参数，我们的EVIL能有效识别鲁棒子网络以提升OOD泛化。在集成测试平台DomainBed上的大量实验中，EVIL能够有效且高效地增强许多流行方法，如ERM、IRM、SAM等。
引用
@article{arxiv.2310.16391,
title = {Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization},
author = {Zhuo Huang and Muyang Li and Li Shen and Jun Yu and Chen Gong and Bo Han and Tongliang Liu},
journal= {arXiv preprint arXiv:2310.16391},
year = {2023}
}
备注
27 pages, 9 figures