面向域自适应检测Transformer的序列特征对齐探索
计算机视觉与模式识别
2022-07-18 v4 机器学习
摘要
检测Transformer近期展现出令人瞩目的目标检测结果并吸引了越来越多的关注。然而,如何发展有效的域自适应技术以提升其跨域性能仍未被探索且尚不明确。本文深入探究该问题,并通过实验发现仅对CNN骨干网络进行直接的特征分布对齐带来的改进有限,因为这无法保证Transformer中用于预测的序列特征具有域不变性。为解决此问题,我们提出了一种专为检测Transformer自适应设计的新型序列特征对齐(SFA)方法。在技术层面,SFA由一个基于域查询的特征对齐(DQFA)模块和一个令牌级特征对齐(TDA)模块组成。在DQFA中,使用一种新颖的域查询来聚合并对齐来自两个域的令牌序列的全局上下文。DQFA在分别部署于Transformer编码器与解码器时,减小了全局特征表示与对象关系上的域差异。同时,TDA对齐来自两个域的序列中的令牌特征,分别减小了Transformer编码器与解码器中局部和实例级特征表示上的域差距。此外,提出了一种新颖的二分匹配一致性损失以增强特征可判别性,从而实现鲁棒的目标检测。在三个具挑战性的基准上的实验表明,SFA优于最先进的域自适应目标检测方法。代码已发布于:https://github.com/encounter1997/SFA。
引用
@article{arxiv.2107.12636,
title = {Exploring Sequence Feature Alignment for Domain Adaptive Detection Transformers},
author = {Wen Wang and Yang Cao and Jing Zhang and Fengxiang He and Zheng-Jun Zha and Yonggang Wen and Dacheng Tao},
journal= {arXiv preprint arXiv:2107.12636},
year = {2022}
}
备注
Fix a typo in Eq. 13