关注骨干网络：最小化骨干失真以实现鲁棒目标检测
计算机视觉与模式识别
2023-05-17 v2
摘要
构建对域偏移鲁棒的目标检测器对真实应用至关重要。先前方法微调预训练骨干网络，存在过拟合于分布内（ID）数据并破坏对分布外（OOD）泛化有用特征的风险。我们提出使用相对梯度范数（RGN）作为衡量骨干网络对特征失真脆弱性的方法，并表明高RGN确实与较低的OOD性能相关。我们对RGN的分析得出有趣发现：某些骨干在微调中丧失OOD鲁棒性，而另一些获得鲁棒性，因为其架构阻止参数偏离初始模型过远。基于这些发现，我们给出提升两类骨干OOD鲁棒性的方案。具体而言，我们探究正则化与架构选择以最小化梯度更新，从而防止微调骨干丢失可泛化特征。我们提出的技术互为补充，在多种架构与数据集上相较基线展现出显著改进。代码见 https://github.com/VisionLearningGroup/mind_back。
引用
@article{arxiv.2303.14744,
title = {Mind the Backbone: Minimizing Backbone Distortion for Robust Object Detection},
author = {Kuniaki Saito and Donghyun Kim and Piotr Teterwak and Rogerio Feris and Kate Saenko},
journal= {arXiv preprint arXiv:2303.14744},
year = {2023}
}
备注
Project page: http://ai.bu.edu/mind_back/