在持续变化的测试域中，目标检测器应更新什么、如何更新以及何时更新？
计算机视觉与模式识别
2023-12-15 v1
摘要
众所周知，深度学习模型在测试时遇到分布偏移时性能会下降。测试时适应算法已被提出，用于在推断测试数据时在线适应模型。然而，现有研究主要通过优化批归一化层或分类头来专注于分类任务，但这种方法限制了其在 Transformer 等各种模型架构中的适用性，并使其难以应用于目标检测等其他任务。在本文中，我们提出了一种用于在持续变化的测试域中进行目标检测的新型在线适应方法，考虑了更新模型的哪一部分、如何更新以及何时执行更新。通过引入与架构无关的轻量级适配器模块，并且仅更新这些模块而保持预训练主干不变，我们能够高效地快速适应新的测试域，并防止灾难性遗忘。此外，我们提出了一种实用且直接的逐类特征对齐方法，以解决目标检测中的域偏移。另外，我们通过确定模型何时已充分适应或何时因测试分布变化而需要额外适应来提升效率。我们的方法在广泛使用的基准上超越了基线，在 COCO COCO-corrupted 和 SHIFT 上 mAP 分别提升了高达 4.9\%p 和 7.9\%p，同时保持约 20 FPS 或更高的帧率。
引用
@article{arxiv.2312.08875,
title = {What, How, and When Should Object Detectors Update in Continually Changing Test Domains?},
author = {Jayeon Yoo and Dongkwan Lee and Inseop Chung and Donghyun Kim and Nojun Kwak},
journal= {arXiv preprint arXiv:2312.08875},
year = {2023}
}