针对频率简单性偏置学习的对抗方法:用于域自适应的频率数据增强
机器学习
2024-10-22 v1 计算机视觉与模式识别
摘要
域自适应方法旨在从源域学习可迁移的知识,以便在未见目标域上实现良好泛化。最近的研究表明,神经网络常常会受到简单性偏置学习行为的影响,这会导致过度依赖于特定频率集合(即频率捷径),而非语义信息,从而导致泛化性能差。尽管之前的数据增强技术成功提升了泛化性能,但它们是通过施加更多频率捷径来实现的,从而导致泛化改进的幻觉。在本文中,我们从数据驱动的角度努力防止应用频率捷径的学习行为。基于模型在不同空间频率成分上受偏置学习行为的理论依据(该依据基于数据集的频率特性),我们认为不同频率成分上的学习行为可以通过改变数据集在傅里叶域的统计结构来操控。直观地说,频率捷径隐藏在数据集结构的主导且高度依赖的频率中,动态扰动这些过度依赖的频率成分即可防止频率捷径的应用。为此,我们提出了两种有效的数据增强模块,旨在协同和自适应地调整数据集的频率特征,以动态影响模型的学习行为,最终作为缓解捷径学习的策略。代码已公开:https://github.com/C0notSilly/AdvFrequency。
引用
@article{arxiv.2410.16146,
title = {Towards Combating Frequency Simplicity-biased Learning for Domain Generalization},
author = {Xilin He and Jingyu Hu and Qinliang Lin and Cheng Luo and Weicheng Xie and Siyang Song and Muhammad Haris Khan and Linlin Shen},
journal= {arXiv preprint arXiv:2410.16146},
year = {2024}
}
备注
Accepted by NeurIPS 2024