用于RGBT跟踪的动态解缠合网络
计算机视觉与模式识别
2024-12-12 v1
摘要
RGBT跟踪通常会受到低分辨率、相似外观、极端光照、热象征交叉和遮挡等各种挑战性因素的影响。现有工作常通过复杂的融合模型来处理挑战情景，但无法很好地适应各种挑战，从而可能限制跟踪性能。为此，我们提出一种名为DDFNet的新型动态解缠合网络，通过挑战属性将融合过程解缠合分为多个，以适应各种挑战情景，实现稳健的RGBT跟踪。具体而言，我们设计了六个基于属性的融合模型分别处理RGB和热特征的六种挑战情景。由于每个融合模型都针对相应的挑战进行处理，这种解缠合方案可在不依赖大规模训练数据的情况下提高融合能力。鉴于每个挑战情景的难度程度各不相同，我们提出以动态方式优化多个融合单元的组合，以形成每个属性基融合模型，从而能够良好适应相应挑战情景的难度。为解决在跟踪过程中应激活哪些融合模型的问题，我们设计了一个自适应聚合融合模块，通过三个阶段的训练算法以自适应方式整合来自属性基融合模型的所有特征。此外，我们设计了一个增强融合模块进一步加强聚合特征和模态特定特征。实验结果表明，DDFNet在基准数据集上的效果优于其他最先进的方法。
引用
@article{arxiv.2412.08441,
title = {Dynamic Disentangled Fusion Network for RGBT Tracking},
author = {Chenglong Li and Tao Wang and Zhaodong Ding and Yun Xiao and Jin Tang},
journal= {arXiv preprint arXiv:2412.08441},
year = {2024}
}
备注
14 pages,14 figures