神经网络何时泛化失败？——一个模型敏感性视角
计算机视觉与模式识别
2022-12-05 v1 人工智能
摘要
域泛化（DG）旨在训练模型以在不同分布下的未知域中表现良好。本文考虑一种更现实却更具挑战性的设定，即单域泛化（Single-DG），其中仅有一个源域可用于训练。为应对该挑战，我们首先尝试理解神经网络何时泛化失败？我们通过实证确认了模型的一种与其泛化能力高度相关的属性，并将其称为“模型敏感性”。基于我们的分析，我们提出了一种新颖的谱对抗数据增强（SADA）策略，以针对高敏感频率生成增强图像。使用这些难以学习的样本训练的模型可有效抑制频率空间中的敏感性，从而提升泛化性能。在多个公开数据集上的大量实验证明了我们方法的优越性，其超越了最先进的单域泛化方法。
引用
@article{arxiv.2212.00850,
title = {When Neural Networks Fail to Generalize? A Model Sensitivity Perspective},
author = {Jiajin Zhang and Hanqing Chao and Amit Dhurandhar and Pin-Yu Chen and Ali Tajer and Yangyang Xu and Pingkun Yan},
journal= {arXiv preprint arXiv:2212.00850},
year = {2022}
}
备注
Accepted by AAAI 2023