通过显著性正则化调优多模态跟踪器
计算机视觉与模式识别
2026-03-06 v3
摘要
本文针对通过有效适配预训练模型以适用于 RGB 数据来优化多模态跟踪器这一关键挑战，提出了一种显著性正则化调优框架。现有微调范式在过度灵活性和过度限制之间摇摆，导致次优的塑性-稳定性权衡。为缓解这一困境，我们提出了一种新颖的显著性正则化微调框架，通过纳入内在参数显著性来精细细化学习过程。我们系统性地研究了从预训练到多模态上下文的过渡，识别出维护基础模式和管理跨域偏移的关键参数是这一问题的主要驱动力。具体而言，我们首先探测预训练权重的切向空间，以衡量和确定先前的显著性，旨在保持泛化能力。随后，我们在微调阶段刻画迁移显著性，强调适应性和稳定性。通过将这些参数显著性术语作为统一的正则化项纳入，我们的方法显著提升了跨模态的可迁移性。大量实验表明，我们的方法在各种多模态跟踪基准上均优于当前最先进的技术。源代码和模型已公开于 https://github.com/zhiwen-xdu/SRTrack。
引用
@article{arxiv.2508.17488,
title = {Optimizing Multi-Modality Trackers via Significance-Regularized Tuning},
author = {Zhiwen Chen and Jinjian Wu and Zhiyu Zhu and Yifan Zhang and Guangming Shi and Junhui Hou},
journal= {arXiv preprint arXiv:2508.17488},
year = {2026}
}