DFM-X：利用捷径学习先验知识的增强方法
计算机视觉与模式识别
2023-08-15 v1
摘要
神经网络易于从数据中表面统计信息学习简单解，即捷径学习（shortcut learning），这损害了模型的泛化性与鲁棒性。我们提出一种数据增强策略，名为 DFM-X，其利用关于频率捷径的先验知识，这些知识编码于为图像分类模型计算的主导频率图（Dominant Frequencies Maps）中。我们随机选取特定类别的 X% 训练图像进行增强，并通过保留其他类别 DFM 中所包含的频率对其进行处理。该策略迫使模型利用更广的频率范围进行分类，而非依赖特定频率集合。因此，与标准设置训练的对应模型相比，模型学习了更深且与任务相关的语义。不同于其他常用增强技术聚焦于增加训练数据的视觉变化，我们的方法旨在通过从数据中提炼关于模型破坏性学习行为的先验知识，来高效利用原始数据。实验结果表明 DFM-X 提升了对常见 corruption 和对抗攻击的鲁棒性。它可与其他增强技术无缝结合以进一步增强模型鲁棒性。
引用
@article{arxiv.2308.06622,
title = {DFM-X: Augmentation by Leveraging Prior Knowledge of Shortcut Learning},
author = {Shunxin Wang and Christoph Brune and Raymond Veldhuis and Nicola Strisciuglio},
journal= {arXiv preprint arXiv:2308.06622},
year = {2023}
}
备注
Accepted at ICCVW2023