提升域自适应检测Transformer的迁移能力
计算机视觉与模式识别
2022-08-04 v3
摘要
DETR风格的检测器在同域场景中表现突出，但其在域偏移设置下的特性尚待充分探索。本文旨在基于两点发现，为域偏移设置下的DETR风格检测器构建一个简单而有效的基线。其一，缓解骨干网络与解码器输出特征上的域偏移有助于获得良好结果。其二，两部分中先进的域对齐方法进一步提升性能。因此，我们提出目标感知对齐（OAA）模块与基于最优传输的对齐（OTA）模块，以在骨干网络与检测器的输出上实现全面的域对齐。OAA模块对齐由伪标签在骨干网络输出中识别的前景区域，从而得到基于域不变的特征。OTA模块利用切片Wasserstein距离，在最大化位置信息保留的同时最小化解码器输出中的域间隙。我们将上述发现与对齐模块实现于我们的自适应方法中，并以此在域偏移设置下对DETR风格检测器进行基准测试。在各种域自适应场景上的实验验证了我们方法的有效性。
引用
@article{arxiv.2204.14195,
title = {Improving Transferability for Domain Adaptive Detection Transformers},
author = {Kaixiong Gong and Shuang Li and Shugang Li and Rui Zhang and Chi Harold Liu and Qiang Chen},
journal= {arXiv preprint arXiv:2204.14195},
year = {2022}
}