失准的模型：分布偏移鲁棒性的傅里叶视角
机器学习
2022-07-12 v1
摘要
提高深度神经网络（DNNs）在分布外（OOD）数据上的精度对深度学习（DL）在真实世界应用中的被接受至关重要。已观察到分布内（ID）与 OOD 数据上的精度遵循线性趋势，且优于此基线的模型极为罕见（被称为“有效鲁棒”）。近来，一些有前景的方法被提出以改善 OOD 鲁棒性：模型剪枝、数据增强、以及集成或零样本评估大型预训练模型。然而，对于观察有效鲁棒性所需的 OOD 数据与模型性质的条件仍无清晰理解。我们通过开展一项综合实证研究会处理此问题，该研究涵盖已知影响 OOD 鲁棒性的多种方法，应用于 CIFAR-10 与 ImageNet 的广泛自然与合成分布偏移。特别地，我们通过傅里叶视角审视“有效鲁棒性谜题”，并探问模型与 OOD 数据的谱性质如何影响其相应有效鲁棒性。我们发现此傅里叶视角为某些鲁棒模型（尤其是来自 CLIP 家族者）为何取得 OOD 鲁棒性提供了一些洞见。然而，我们的分析也清楚表明，没有已知度量能一致地成为 OOD 鲁棒性的最佳解释（甚至强解释）。因此，为助力未来对 OOD 谜题的研究，我们通过引入一组具有不同 OOD 鲁棒性水平的预训练模型——RobustNets——来弥补具有效鲁棒性的公开可用模型的缺口。
引用
@article{arxiv.2207.04075,
title = {Models Out of Line: A Fourier Lens on Distribution Shift Robustness},
author = {Sara Fridovich-Keil and Brian R. Bartoldson and James Diffenderfer and Bhavya Kailkhura and Peer-Timo Bremer},
journal= {arXiv preprint arXiv:2207.04075},
year = {2022}
}