面向真实场景目标跟踪的域自适应 SiamRPN++

得益于大规模训练数据，近年来基于孪生网络的目标跟踪方法在常规序列上取得了令人信服的结果。然而，基于孪生网络的跟踪器假设训练数据与测试数据服从相同的分布。若存在一组雾天或雨天的测试序列，则无法保证在常规图像上训练的跟踪器在其他域的数据上表现良好。训练与测试数据间的域偏移问题已在目标检测与语义分割领域被讨论，但在视觉跟踪中尚未被研究。为此，基于 SiamRPN++，我们提出一种域自适应 SiamRPN++，即 DASiamRPN++，以提升跟踪器的跨域迁移能力与鲁棒性。受 A-distance 理论启发，我们提出两个域自适应模块：像素域自适应（PDA）与语义域自适应（SDA）。PDA 模块对齐模板与搜索区域图像的特征图，以消除由天气、光照等引起的像素级域偏移。SDA 模块对齐跟踪目标外观的特征表示，以消除语义级域偏移。PDA 与 SDA 模块通过对抗训练方式学习域分类器来减小域差异。域分类器迫使网络学习域不变的特征表示。我们在两个不同域的标准数据集（包括合成雾天序列与热红外序列）上进行了大量实验，证明了所提跟踪器的迁移能力与域适应性。